grubcrawler

Agentic web crawler with anti-detection, vision fallback, and peer-to-peer mesh. Endpoints · Mesh · Anti-Detection · Ghost Protocol · Live Stream · MCP Tools · Quick Start · Benchmarks · Architecture Full-stack web crawling engine with JavaScript rendering, Camoufox anti-detect browser, per-reque...

JAW

J A W Website | Docs | Setup | Crawler | Quick Start Docker Example JAW An open-source, prototype implementation of property graphs for JavaScript based on the esprima parser, and the EsTree SpiderMonkey Spec. JAW can be used for analyzing the client-side of web applications and JavaScript-based...

SpiderSuite

SpiderSuite is an advance cross-platform and multi-feature web crawler designed for security professionals. For more information visit SpiderSuite's website. Installation and Usage Spider Suite is designed for easy installation and usage even for first timers. First, download the package of your...

evine

Evine Interactive CLI Web Crawler. Evine is a simple, fast, and interactive web crawler and web scraper written in Golang. Evine is useful for a wide range of purposes such as metadata and data extraction, data mining, reconnaissance and testing. If you like the project, give it a star. It forces...

wxpath

wxpath - declarative web graph traversal with XPath NEW: TUI - Interactive terminal interface powered by Textual for testing wxpath expressions and exporting data. Install Requires Python 3.10+. pip install wxpath For TUI support: pip install "wxpathtui" Immediately launch the TUI via uv: uvx...

dirhunt

.. image:: https://raw.githubusercontent.com/Nekmo/dirhunt/v0.2.0/images/dirhunt.png | .. image:: https://raw.githubusercontent.com/Nekmo/dirhunt/pip-rating-badge/pip-rating-badge.svg :target: https://github.com/Nekmo/dirhunt/actions/workflows/pip-rating.yml :alt: pip-rating badge .. image::...

sqlifinder

SQL Injection scanner made with python. Features • Install • Usage • sqlifinder is a tool with the function of detecting GET-based sql injection vulnerabilities in web applications using waybackurls, web crawlers and sql injection payloads. Features Fast and powerful scanner Include web crawler a...

domain_analyzer

Domain Analyzer v0.8.3 What Domain analyzer is a security analysis tool that automatically discovers and reports information about a given domain. Its main purpose is to analyze domains in an unattended way. It has many crazy features, such as getting more domains from DNS zones, automatic nmap,...

EasySpider

易采集/EasySpider: Visual Code-Free Web Crawler 一个完全免费 （包括商业使用和二次开发 ）的可视化浏览器自动化测试/数据采集/爬虫软件，可以使用图形化界面，无代码可视化的设计和执行任务。只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行。同时软件还可以单独以命令行的方式进行执行，从而可以很方便的嵌入到其他系统中。 A completely free including for commercial use and secondary development visual browser automation...

second-order

Second Order Webアプリケーションをクロールし、特定のルールに一致するか特定の方法で応答するURL（およびその他のデータ）を収集することで、セカンドオーダーサブドメイン乗っ取り をスキャンします。 インストール バイナリから リリースページからプリビルドバイナリをダウンロードし、解凍してください。 ソースから Goバージョン1.17を推奨します。 go install -v github.com/mhmdiaa/second-order@latest Docker docker pull mhmdiaa/second-order コマンドラインオプション -target...

gospider

GoSpider GoSpider - Goで書かれた高速なWebスパイダー Gospiderをあなたの偵察ワークフローに簡単に統合できますか？ このプロジェクトはOsmedeus Engineの一部でした。統合方法はこちらで確認してください @OsmedeusEngine インストール GOインストール GO111MODULE=on go install github.com/jaeles-project/gospider@latest Docker Clone the repo git clone...

hakrawler

Hakrawler URLとJavaScriptファイルの位置を収集するための高速なGo言語製ウェブクローラーです。基本的には、素晴らしいGocollyライブラリのシンプルな実装です。 使用例 単一URL: echo https://google.com | hakrawler 複数URL: cat urls.txt | hakrawler 標準入力の各行に対して5秒のタイムアウト: cat urls.txt | hakrawler -timeout 5 すべてのリクエストをプロキシ経由で送信: cat urls.txt | hakrawler -proxy...

hakrawler

Hakrawler Fast golang web crawler for gathering URLs and JavaScript file locations. This is basically a simple implementation of the awesome Gocolly library. Example usages Single URL: echo https://google.com | hakrawler Multiple URLs: cat urls.txt | hakrawler Timeout for each line of stdin after...

sql-global-injector

Ultimate-Dork WebクローラーとSQLインジェクション脆弱性のスキャン 使い方とインストール - Installation apt-get install python python3 git git clone https://github.com/nu11secur1ty/sql-global-injector.git python3 -m pip install requests mechanicalsoup cd sql-global-injector - Usage python3 ultimate-dork.py -h show help and...

dcrawl

dcrawl dcrawl は、ユニークなドメイン名の巨大なリストをランダムに収集するための、シンプルでありながらスマートなマルチスレッドウェブクローラーです。 動作の仕組み dcrawl は 1 つのサイト URL を入力として受け取り、サイトの本文内のすべての リンクを検出します。見つかった各リンクはキューに追加されます。続けて、キューに入った各リンクも同様にクロールされ、各サイト本文のリンクで見つかったさらに多くの URL に分岐していきます。 スマートクローリング の仕組み： 1 つのホスト名につき、事前に定義された数のリンクのみに分岐します。 1...

dcrawl

dcrawl dcrawl is a simple, but smart, multi-threaded web crawler for randomly gathering huge lists of unique domain names. How it works? dcrawl takes one site URL as input and detects all links in the site's body. Each found link is put into the queue. Successively, each queued link is crawled in...

xcrawl3r

xcrawl3r xcrawl3r は、ウェブページを再帰的にクロールしてURLを発見するためのコマンドラインユーティリティです。ウェブサイトを能動的に巡回し、ウェブページ内のリンクをたどったり、ファイル（サイトマップや robots.txt を含む）を解析して、すべてのURLを明らかにします。 ターゲットと直接対話しない xurlfind3r とは異なり、xcrawl3r...

evine

Evine 対話型 CLI Webクローラー。 Evineは、Golangで書かれたシンプルで高速かつ対話的なWebクローラー兼Webスクレイパーです。 Evineは、メタデータやデータの抽出、データマイニング、偵察、テストなど、幅広い目的に役立ちます。 このプロジェクトが気に入ったら、スターを付けてください。それによって開発が促進されます！ インストール バイナリから ビルド済みのバイナリリリースも利用可能です（推奨）。 ソースから go get github.com/saeeddhqan/evine "$GOPATH/bin/evine" -h GitHubから git clone...

xepor

Xepor Xepor pronounced /ˈzɛfə/ , zephyr is a web routing framework for reverse engineers and security researchers. It provides a Flask-like API for hackers to intercept and modify HTTP requests and/or HTTP responses in a human-friendly coding style. This project is meant to be used with mitmproxy...

spider

Spider Rust 向けの最速の Web クローラーおよびスクレイパー。 spider.cloud · ガイド · ドキュメント · 例 · Discord Spider は、Rust で書かれた並行処理を第一に設計されたクローリングエンジンです。ページが到着するたびにストリーミングし、JavaScript のレンダリングは必要なページのみに行い、コードを変更せずに単一スクリプトから分散クラスタへスケールします。同じエンジンが Spider Cloud で稼働しているため、ローカルでプロトタイピングを行い、設定変更一つでマネージドインフラへ移行できます。 クラウドで始める...