second-order

Second Order Webアプリケーションをクロールし、特定のルールに一致するか特定の方法で応答するURL（およびその他のデータ）を収集することで、セカンドオーダーサブドメイン乗っ取り をスキャンします。 インストール バイナリから リリースページからプリビルドバイナリをダウンロードし、解凍してください。 ソースから Goバージョン1.17を推奨します。 root@kitploit: go install -v github.com/mhmdiaa/second-order@latest Docker root@kitploit: docker pull...

awesome-security-vul-llm

Awesome Security Vulnerability ProjectBy LLM プロジェクト紹介 本プロジェクトは、大規模言語モデル（LLM）とクローラーを連携させ、GitHub上にある価値ある脆弱性情報や脆弱性のPOC・ルール情報を含むプロジェクトをすべて検索し、各プロジェクトのディレクトリ構造やReadme情報を自動認識した上で、要約・分析・分類を行います。集約されたプロジェクトは、セキュリティ業界の従事者が脆弱性情報、POC情報、ルールなどを収集するのに役立ちます。 LLM分析プロセス 1. GithubGather...

Photon

Photon OSINT向けに設計された驚異的に高速なクローラー Photon Wiki • 使い方 • 互換性 • Photonライブラリ • 貢献 • ロードマップ 主な機能 データ抽出 Photonはクロール中に以下のデータを抽出できます： URL（スコープ内・スコープ外） パラメータ付きURL（example.com/gallery.php?id=2） インテル（メールアドレス、ソーシャルメディアアカウント、Amazonバケットなど） ファイル（pdf、png、xmlなど） 秘密鍵（auth/APIキーとハッシュ） JavaScriptファイルとその中に存在するエンドポイント...

sqlifinder

Pythonで作られたSQLインジェクションスキャナーです。 機能 • インストール • 使い方 • sqlifinderは、waybackurls、Webクローラー、SQLインジェクションペイロードを使用して、WebアプリケーションのGETベースのSQLインジェクション脆弱性を検出する機能を持つツールです。 機能 高速かつ強力なスキャナー Webクローラーとwaybackurlsを含む 使い方...

htcap

HTCAP htcapは、シングルページアプリケーション（SPA）を再帰的にクロールし、AjaxコールやDOMの変更をインターセプトできるWebアプリケーションスキャナです。 主な機能 再帰的DOMクロールエンジン Ajax/Fetch/JSONP/WebSocketリクエストを検出 Cookie、プロキシ、カスタムヘッダー、HTTP認証などをサポート テキストの類似性に基づくヒューリスティックなページ重複排除エンジン スクリプト可能なログインシーケンス すべての発見結果はSQLiteデータベースに保存され、インタラクティブなHTMLレポートにエクスポート可能...

vexhub-crawler

VEX Hub Crawler vexhub-crawler 是 VEX Hub 的一个组件，用于自动从源代码仓库中检索 VEX 文档。 概述 爬虫根据已注册的 PURLs Package URLs 识别源代码仓库，并将 VEX 文档复制到 VEX Hub。 此过程确保 VEX Hub 为各种软件包维护最新的 VEX 文档集合。 下图以 npm 为例说明了 VEX Hub Crawler 的高级流程： root@kitploit: flowchart TD DevDeveloper --|Register package| PLPackage List PL --|Provide...

crawlergo

crawlergo ウェブ脆弱性スキャナーのための強力なブラウザクローラー 英語ドキュメント | 中文文档 crawlergo は、chrome headless モードを使用して URL を収集するブラウザクローラーです。DOM レンダリング段階でウェブページ全体のキーポジションをフックし、自動的にフォームを埋めて送信し、インテリジェントな JS イベントトリガーにより、ウェブサイトが公開するエントリを可能な限り収集します。内蔵の URL 重複排除モジュールは、多数の疑似静的 URL...

Pinkerton

🕵️ Pinkerton 1850年以来、JavaScriptファイルを調査中 JavaScriptファイルをクロールし、APIキー、認証トークン、ハードコードされたパスワードなどの秘密情報を検索するPythonプロジェクトです。 ⚡ はじめに Pinkertonのインストールと使い方の簡単なガイドです。 1. リポジトリをクローン: git clone https://github.com/000pp/pinkerton.git 2. ライブラリをインストール: pip3 install -r requirements.txt --break-system-packages 3...

Web-Cache-Vulnerability-Scanner

Web Cache Vulnerability Scanner WCVS は、Hackmanit と Maximilian Hildebrand によって開発された、ウェブキャッシュポイズニング およびウェブキャッシュディセプションのための高速で多機能なCLIスキャナーです。 このスキャナーは、多様なウェブキャッシュポイズニングおよびウェブキャッシュディセプション技術をサポートし、テスト対象のURLを特定するクローラーを内蔵し、特定のウェブキャッシュに適応してより効率的なテストを行うことができます。高度にカスタマイズ可能で、既存のCI/CDパイプラインに簡単に統合できます。 特徴 インス...

hakrawler

Hakrawler URLとJavaScriptファイルの位置を収集するための高速なGo言語製ウェブクローラーです。基本的には、素晴らしいGocollyライブラリのシンプルな実装です。 使用例 単一URL: root@kitploit: echo https://google.com | hakrawler 複数URL: root@kitploit: cat urls.txt | hakrawler 標準入力の各行に対して5秒のタイムアウト: root@kitploit: cat urls.txt | hakrawler -timeout 5 すべてのリクエストをプロキシ経由で送信:...

wxpath

wxpath - 声明式网络图遍历与 XPath 新功能：TUI - 交互式终端界面（由 Textual 驱动），用于测试 wxpath 表达式和导出数据。 安装 需要 Python 3.10+。 root@kitploit: pip install wxpath 如需 TUI 支持： pip install "wxpathtui" 立即通过 uv 启动 TUI： uvx --from "wxpathtui" wxpath-tui 什么是 wxpath？ wxpath 是一个声明式网络爬虫，其遍历逻辑直接通过 XPath 表达。无需编写命令式的爬取循环，wxpath...

Insta-Crawler

Insta Crawler 一个旨在生成随机 instagram 图片 ID 并尝试访问它们的 python 脚本 截图...

EasySpider

易采集/EasySpider: ビジュアルコード不要のWebクローラー 完全無料 （商用利用や二次開発を含む ）で利用できるビジュアルブラウザ自動化テスト/データ収集/クローラーソフトウェアです。グラフィカルインターフェースを使用して、コード不要で視覚的にタスクの設計と実行が可能です。Webページ上で操作したいコンテンツを選択し、プロンプトに従って操作するだけで、タスクの設計と実行を完了できます。同時に、コマンドラインで単独で実行することもできるため、他のシステムに簡単に組み込むことができます。 A completely free including for commercial use...

grubcrawler

エージェント型ウェブクローラー - アンチディテクション、ビジョンフォールバック、P2Pメッシュ搭載 エンドポイント · メッシュ · アンチディテクション · ゴーストプロトコル · ライブストリーム · MCPツール · クイックスタート · ベンチマーク · アーキテクチャ...

xcrawl3r

xcrawl3r xcrawl3r 是一个命令行工具，用于递归爬取网页以获取 URL。它通过主动遍历网站——跟踪网页中的链接并解析文件（包括站点地图和 robots.txt）——来发现所有 URL。 与 xurlfind3r 不同，xcrawl3r 不直接与目标交互，而是通过实时爬取页面来直接与目标交互。这种主动方式使其能够发现可能被隐藏或未索引的 URL，从而提供网站导航流程和内容分布的完整视图。这使得 xcrawl3r 成为安全研究人员、IT 专业人员以及任何希望深入了解网站相关 URL 的用户的强大工具。 资源 功能 安装 安装发布版二进制文件（未安装 Go） 从源码安装（已安装...

Pyison

Pyison PyisonはAIウェブクローラー用のタールピットです。 はじめに すべてのウェブクローラーと同様に、AIボットはウェブサーバーからページを要求し、そのページのリンクをたどって他のページへ移動します。これにより、ウェブサイト全体のインデックスを構築できます。 ただし、他のウェブクローラーとは異なり、AIボットはいくつかの特有の問題を引き起こします。 サーバー管理者はrobots.txtファイルを設定できます。これはウェブクローラーにクロールすべきページとすべきでないページを指示します。...

SpiderSuite

SpiderSuite は、セキュリティ専門家向けに設計された、高度なクロスプラットフォーム対応・多機能 Web クローラーです。 詳細については、SpiderSuite のウェブサイトをご覧ください。 インストールと使用方法 Spider Suite は、初心者でも簡単にインストールして使用できるように設計されています。 まず、お好みのパッケージをダウンロードしてください。 次に、ダウンロードした SpiderSuite パッケージをインストールします。 使い始めるためのチュートリアルについては、SpiderSuite で初めてのクロールの記事を参照してください。 Spider Sui...

INtrack

INtrack - 互联网爬虫与安全扫描器 INtrack 是一款功能强大的多线程安全扫描器和互联网爬虫，专为网络侦察、漏洞检测和安全评估而设计。它可以扫描多种实例、漏洞、IoT 设备、暴露项等。 功能 🔍 全面扫描 ：检测 Web 服务器、应用程序、易受攻击的服务等 🌐 灵活的目标选择 ：扫描单个主机、子网、随机互联网 IP 或文件中的目标 🛠️ 多种扫描器类型 ： 针对已知 CVE 的漏洞扫描器 实例检测（WordPress、Jira、Apache、Nginx 等） IoT 设备检测 后门植入检测 网络服务识别 暴露扫描器（robots.txt、security.txt 等） 🔄 多线...

evine

Evine Interactive CLI Web Crawler. Evine is a simple, fast, and interactive web crawler and web scraper written in Golang. Evine is useful for a wide range of purposes such as metadata and data extraction, data mining, reconnaissance and testing. If you like the project, give it a star. It forces...

evine

Evine 対話型 CLI Webクローラー。 Evineは、Golangで書かれたシンプルで高速かつ対話的なWebクローラー兼Webスクレイパーです。 Evineは、メタデータやデータの抽出、データマイニング、偵察、テストなど、幅広い目的に役立ちます。 このプロジェクトが気に入ったら、スターを付けてください。それによって開発が促進されます！ インストール バイナリから ビルド済みのバイナリリリースも利用可能です（推奨）。 ソースから root@kitploit: go get github.com/saeeddhqan/evine "$GOPATH/bin/evine" -h...