AIL-framework

AIL 框架 用于收集、爬取、处理和分析非结构化信息的开源框架。 AIL 框架是一个开源平台，用于收集、爬取、处理和分析 来自明网、Tor、I2P、聊天、文件和外部数据源的非结构化数据。 AIL 最初由 CIRCL 开发，通过提取、标记、检测、关联和调查工作流，帮助分析师将原始杂乱的内容转化为结构化情报。 AIL 是什么？ https://ail-project.org AIL（信息泄漏分析）是一个开源框架，用于收集、爬取、处理和分析非结构化信息。它通过帮助分析师从广泛的来源中提取、检测、关联和共享相关信息，支持威胁情报、泄漏分析和调查工作流。 AIL 包括： 一个可扩展的基于 Pyth...

gospider

GoSpider GoSpider - Fast web spider written in Go Painless integrate Gospider into your recon workflow? this project was part of Osmedeus Engine. Check out how it was integrated at @OsmedeusEngine Installation GO install root@kitploit: GO111MODULE=on go install...

jshole

jshole 一个基于 RetireJS 的简单 JavaScript 组件漏洞扫描器。 为什么使用 JShole 而不是 RetireJS？ 默认情况下，RetireJS 只搜索一个页面，但 JShole 尝试爬取所有页面。 开始使用 依赖 requests 安装 git clone https://github.com/callforpapers-source/jshole.git cd jshole pip3 install -r requirements python3 jshole.py root@kitploit: usage: jshole -h -u URL -d -l...

dark-web-osint-tools

🕵️‍♂️ 暗网 OSINT 工具 🔎 暗网搜索引擎工具 Katana - https://github.com/adnane-X-tebbaa/Katana OnionSearch - https://github.com/megadose/OnionSearch Darkdump - https://github.com/josh0xA/darkdump Ahmia 搜索引擎 - ahmia.fi, https://github.com/ahmia/ahmia-site Darkus - https://github.com/Lucksi/Darkus Onion 搜索引擎 -...

SourceWolf

SourceWolf ​ 测试环境： Windows、MAC、Linux 以及 Linux 的 Windows 子系统（WSL） 赞助商 通过成为赞助人来支持本项目。快来看看这些了不起的赞助商： Oxylabs 提供优质代理，覆盖 195 个国家的 1 亿多个 IP，并提供即用型 Scraper API。你可以使用专属优惠码 boost35 享受 Residential、Mobile 代理、Web Unblocker 和 Scraper API 的 35% 折扣。 目录 功能 安装 用法 如何将其集成到你的工作流程中？ 待办事项 更新 SourceWolf 贡献 问题 文件命名规范...

katana

下一代爬取与爬虫框架 特性 • 安装 • 用法 • 范围 • 配置 • 过滤器 • 加入Discord 特性 快速且完全可配置的网页爬取 标准 和无头 模式 JavaScript 解析/爬取 可自定义的自动表单填写 范围控制 - 预配置字段/正则 知识库 - 机器学习页面类型/表单分类（自动下载模型） 可自定义的输出 - 预配置字段 输入 - STDIN 、URL 和LIST 输出 - STDOUT 、FILE 和JSON 安装 katana需要Go...

Photon

Photon Increíblemente rápido rastreador diseñado para OSINT. Wiki de Photon • Cómo Usar • Compatibilidad • Librería de Photon • Contribución • Hoja de Ruta Características Clave Extracción de Datos Photon puede extraer los siguientes datos mientras rastrea: URLs dentro del alcance y fuera del...

domain_analyzer

Domain Analyzer v0.8.3 What Domain analyzer is a security analysis tool that automatically discovers and reports information about a given domain. Its main purpose is to analyze domains in an unattended way. It has many crazy features, such as getting more domains from DNS zones, automatic nmap,...

domain_analyzer

Domain Analyzer v0.8.3 功能说明 Domain analyzer 是一款安全分析工具，能够自动发现并报告有关指定域的信息。其主要目的是以无人值守的方式分析域。 它拥有许多疯狂的功能，例如从 DNS 区域获取更多域、自动 nmap、网络爬虫以及世界统治模式。查看功能。 如果你希望 nmap 扫描更多端口、运行脚本，并在这些网站上运行爬虫，则需要拥有 root 权限。 默认选项示例 参见 asciinema 上的演示：https://asciinema.org/a/466274 运行原理 Domain analyzer 接收一个域名，并查找其相关信息，例如 DNS...

HTTPLoot

HTTPLoot 一款自动化工具，可同时进行爬取、填写表单、触发错误/调试页面，并从网站的客户端代码中"劫取"机密信息。 使用方法 要使用该工具，你可以从仓库的 Releases 部分获取任何一个预构建的二进制文件。如果你想自行编译源码，需要 Go 1.16 环境。直接运行 go build 即可生成可用的二进制文件。 此外，你还需要两个 JSON 文件（lootdb.json 和 regexes.json），它们可以与二进制文件一同从仓库获取。将所有三个文件放在同一文件夹后，即可启动工具。 视频演示： 以下是该工具的帮助使用信息： root@kitploit: $ ./httploot...

subcrawl

SubCrawl SubCrawl 是一个由 HP Inc. 威胁研究 团队的 Patrick Schläpfer、Josh Stroschein 和 Alex Holland 开发的框架。SubCrawl 旨在发现、扫描和分析开放目录。该框架采用模块化设计，由四个组件构成：输入模块、处理模块、输出模块和核心爬虫引擎。URL 是主要的输入值，框架会解析这些 URL 并将其添加到队列系统中，然后再进行爬取。URL 的解析是重要的第一步，它会以一个提交的 URL 为基础，通过逐级移除子目录生成额外的待爬取 URL，直至没有子目录剩余。这个过程确保了对 Web...

festin

FestIN - パワフルなS3バケットファインダー＆コンテンツ発見 FestInとは なぜFestInか インストール Pythonを使う Dockerを使う 全オプション 使い方 検索ドメインの設定 同時実行数 HTTPクロール設定 結果の管理 プロキシの使用 DNSオプション 全文検索サポート サービス（監視モード）として実行 例：FestIn + DnsReconの組み合わせ ステップ1 - ターゲットドメインに対してdnsreconを希望のオプションで実行し、出力を保存 ステップ2 - 前の生成ファイルをFestInに与える準備 ステップ3 -...

Lurkstrain

Lurkstrain Un rastreador de paneles de administración todo en uno para pentesters...

responsible-disclosure-email-gathering

Recopilación de Correos Electrónicos de Divulgación Responsable Propósito Es posible que hayas encontrado una vulnerabilidad en un host, pero dicho host/organización no tiene un programa activo en HackerOne o BugCrowd. Si este es el caso, ¡este flujo de trabajo es para ti! En términos generales,...

CVE-2026-84366

Scrapy is a high-level web crawling and scraping framework for Python...

UBUNTU-CVE-2026-84366

Scrapy is a high-level web crawling and scraping framework for Python...

CVE-2026-76993

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

EUVD-2026-63377

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

CVE-2026-76993 GreyDGL PentestGPT Web-Page Crawling injection

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

[SECURITY] Fedora 44 Update: python-scrapy-2.14.2-1.fc44

Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, from data mining to monitoring and automated testing...