maltrieve

Stories in Ready Stories in In Progress | | | || | | |/ | | \ / | | | | | | | | | \ | | / | Maltrieve Maltrieve 最初是 mwcrawler 的一个分支。它直接从许多网站上列出的来源获取恶意软件。目前我们爬取以下来源： Malc0de Malware Domain List Malware URLs VX Vault URLquery CleanMX ZeusTracker 其他改进包括： 代理支持 多线程以提高性能 记录来源 URL 支持多种用户代理 更好的错误处理 支持...

htcap

HTCAP htcapは、シングルページアプリケーション（SPA）を再帰的にクロールし、AjaxコールやDOMの変更をインターセプトできるWebアプリケーションスキャナです。 主な機能 再帰的DOMクロールエンジン Ajax/Fetch/JSONP/WebSocketリクエストを検出 Cookie、プロキシ、カスタムヘッダー、HTTP認証などをサポート テキストの類似性に基づくヒューリスティックなページ重複排除エンジン スクリプト可能なログインシーケンス すべての発見結果はSQLiteデータベースに保存され、インタラクティブなHTMLレポートにエクスポート可能...

Egyscan

EgyScan V3.4 "Ultra" : あなたの無敵のデジタル要塞 🏰 デジタル領域の守護者たちよ、こんにちは！ 🛡️ EgyScan V3.0を使った特別な旅に出発しましょう。これは、執拗なサイバー脅威に対してあなたのウェブサイトを難攻不落の要塞に変える究極の守護者です。EgyScanがあなたのオンライン領域を守る止められない力として現れる、デジタル防御の未来を探検しましょう。 🚀 EgyScanで比類なき力を解き放て 🚀 EgyScan は単なるツールではありません。それはあなたのデジタル存在の守護天使です。それは次の力を持っています： 🔍 総合的な脆弱性検出：...

Pyison

Pyison PyisonはAIウェブクローラー用のタールピットです。 はじめに すべてのウェブクローラーと同様に、AIボットはウェブサーバーからページを要求し、そのページのリンクをたどって他のページへ移動します。これにより、ウェブサイト全体のインデックスを構築できます。 ただし、他のウェブクローラーとは異なり、AIボットはいくつかの特有の問題を引き起こします。 サーバー管理者はrobots.txtファイルを設定できます。これはウェブクローラーにクロールすべきページとすべきでないページを指示します。...

subcrawl

SubCrawl SubCrawl is a framework developed by Patrick Schläpfer, Josh Stroschein and Alex Holland of HP Inc’s Threat Research team. SubCrawl is designed to find, scan and analyze open directories. The framework is modular, consisting of four components: input modules, processing modules, output...

subcrawl

SubCrawl SubCrawlは、HP Inc.のThreat Researchチームに所属するPatrick Schläpfer、Josh Stroschein、Alex...

AIL-framework

AIL Framework 非構造化情報の収集、クロール、処理、分析のためのオープンソースフレームワーク。 AILフレームワークは、クリアウェブ、Tor、I2P、チャット、ファイル、外部フィードから非構造化データを収集、クロール、処理、分析 するためのオープンソースプラットフォームです。 CIRCLで最初に開発されたAILは、アナリストが抽出、タグ付け、検出、相関、調査ワークフローを通じて、生の雑然としたコンテンツを構造化されたインテリジェンスに変換するのに役立ちます。 AILとは？ https://ail-project.org AIL Analysis of Information...

domain_analyzer

Domain Analyzer v0.8.3 What Domain analyzer is a security analysis tool that automatically discovers and reports information about a given domain. Its main purpose is to analyze domains in an unattended way. It has many crazy features, such as getting more domains from DNS zones, automatic nmap,...

domain_analyzer

Domain Analyzer v0.8.3 概要 Domain Analyzerは、指定されたドメインに関する情報を自動的に発見し報告するセキュリティ分析ツールです。主な目的は、無人でドメインを分析することです。 DNSゾーンからさらに多くのドメインを取得する、自動nmap、Webクローラー、世界征服モードなど、多数のクレイジーな機能があります。機能を確認してください。 nmapでより多くのポートをスキャンし、スクリプトを実行し、それらのWebサイトでクローラーを実行したい場合は、root権限が必要です。 デフォルトオプションの例...

gospider

GoSpider GoSpider - Fast web spider written in Go Painless integrate Gospider into your recon workflow? this project was part of Osmedeus Engine. Check out how it was integrated at @OsmedeusEngine Installation GO install GO111MODULE=on go install github.com/jaeles-project/gospider@latest Docker...

gospider

GoSpider GoSpider - Goで書かれた高速なWebスパイダー Gospiderをあなたの偵察ワークフローに簡単に統合できますか？ このプロジェクトはOsmedeus Engineの一部でした。統合方法はこちらで確認してください @OsmedeusEngine インストール GOインストール GO111MODULE=on go install github.com/jaeles-project/gospider@latest Docker Clone the repo git clone...

Scrapling

Effortless Web Scraping for the Modern Web 選択メソッド · Fetcher の選び方 · スパイダー · プロキシローテーション · CLI · MCP モード Scrapling は、単一のリクエストから本格的なクロールまですべてを処理する適応型 Web Scraping フレームワークです。 そのパーサーはウェブサイトの変更から学習し、ページが更新されたときに要素を自動的に再配置します。Fetcher はすぐに使える Cloudflare Turnstile などのアンチボットシステムを回避します。そして Spider...

protections-artifacts

Protections Artifacts Elastic Security prevents ransomware and malware, detects advanced threats, and arms responders with vital context. It’s free and open, ready for every endpoint. Protections-Artifacts is the home of our detection logic rules, yara, etc for Elastic Security for endpoint. At...

dcrawl

dcrawl dcrawl is a simple, but smart, multi-threaded web crawler for randomly gathering huge lists of unique domain names. How it works? dcrawl takes one site URL as input and detects all links in the site's body. Each found link is put into the queue. Successively, each queued link is crawled in...

second-order

Second Order Scans web applications for second-order subdomain takeover by crawling the app, and collecting URLs and other data that match certain rules, or respond in a certain way. Installation From binary Download a prebuilt binary from the releases page and unzip it. From source Go version 1....

Inventus

Inventus Inventusは、特定のドメインとそのサブドメインをクロールしてサブドメインを見つけるために設計されたスパイダーです。Scrapy スパイダーであり、簡単に修正・拡張してニーズに合わせることができます。 デモ asciicast 必要条件 Linux -- Windowsではテストしていません。 Python 2.7 または Python 3.3+ Scrapy 1.4.0以上 インストール Inventusを実行するには、事前にScrapyをインストールする必要があります。まず、リポジトリをクローンしてそのディレクトリに入ります。 $ git clone...

webvulscan

WebVulScan Synopsis WebVulScan is a web application vulnerability scanner. It is a web application itself written in PHP and can be used to test remote, or local, web applications for security vulnerabilities. As a scan is running, details of the scan are dynamically updated to the user. These...

HTTPLoot

HTTPLoot サイトのクライアント向けコードを同時にクロール、フォーム入力、エラー/デバッグページのトリガー、そして「戦利品」を取得する自動化ツール。 使い方 ツールを使用するには、リポジトリのReleasesセクションからプリビルドされたバイナリを入手してください。ソースコードを自分でビルドする場合は、Go 1.16以上が必要です。go buildを実行するだけで使用可能なバイナリが出力されます。 さらに、バイナリと一緒に2つのJSONファイル（lootdb.json= / \ H T T P L O O T $ v0.1 / + HTTPLoot by RedHunt Labs ...

MANSPIDER

MANSPIDER SMB共有をクロールして機密情報を探します。ファイル内容検索 + 正規表現に対応！ v2.0の新機能 Manspider 2.0が登場！ 大幅な改良が加わりました： 新しく改良されたテキスト抽出 - Kreuzberg を採用し、PDF、DOCX、XLSX、PPTX、OCR対応画像など、さらに多くのフォーマットに対応 モダンなパッケージ管理 - uv により、より高速で信頼性の高いインストールを実現 Python 3.14対応 - 最新のPythonリリースに対応 日付フィルタリング - --modified-after と --modified-before...

Orbit

ＯＲＢＩＴ ブロックチェーン取引調査ツール 3.2-blue.svg" はじめに Orbitは、ブロックチェーンウォレットのネットワークを再帰的に取引履歴をクロールして探索するために設計されています。データはグラフとしてレンダリングされ、主要な資金源、送金先、不審な接続を明らかにします。 注: OrbitはPython 3.2以降でのみ動作します。 使い方 まずはウォレットの取引履歴をクロールしてみましょう。 python3 orbit.py -s 1AJbsFZ64EpEfS5UAjAfcUG8pH8Jn3rn1F 複数のウォレットをクロールする場合も同様です。 python3...