hakrawler

Hakrawler 빠른 golang 웹 크롤러로, URL과 JavaScript 파일 위치를 수집합니다. 기본적으로 뛰어난 Gocolly 라이브러리의 간단한 구현입니다. 사용 예시 단일 URL: root@kitploit: echo https://google.com | hakrawler 여러 URL: root@kitploit: cat urls.txt | hakrawler 표준 입력의 각 줄에 대해 5초 후 타임아웃: root@kitploit: cat urls.txt | hakrawler -timeout 5 모든 요청을 프록시를 통...

hakrawler

Hakrawler Fast golang web crawler for gathering URLs and JavaScript file locations. This is basically a simple implementation of the awesome Gocolly library. Example usages Single URL: root@kitploit: echo https://google.com | hakrawler Multiple URLs: root@kitploit: cat urls.txt | hakrawler Timeou...

EasySpider

EasySpider: 코드 없는 시각적 웹 크롤러 완전 무료 상업적 사용 및 2차 개발 포함인 시각적 브라우저 자동화 테스트/데이터 수집/크롤러 소프트웨어로, 그래픽 인터페이스를 사용하여 코드 없이 시각적으로 작업을 설계하고 실행할 수 있습니다. 웹 페이지에서 원하는 내용을 선택하고 안내에 따라 작업을 완료하기만 하면 됩니다. 또한 명령줄에서 별도로 실행할 수 있어 다른 시스템에 쉽게 통합할 수 있습니다. EasySpider 다운로드 Releases Page에서 최신 버전을 다운로드하세요. 다운로드 속도가 느리다면 중국 내...

spider

Spider Rust向け最速のWebクローラー兼スクレイパー。 spider.cloud · ガイド · ドキュメント · 例 · Discord Spiderは、Rustで構築された並行性優先のクローリングエンジンです。ページが到着した瞬間にストリーミングし、ページが必要とする場合にのみJavaScriptをレンダリングし、コードを変更せずに単一のスクリプトから分散型フリートまでスケールします。同じエンジンがSpider Cloudを支えているため、ローカルでプロトタイプを作成し、1つの設定変更で管理されたインフラに移行できます。 クラウドで始める...

wxpath

wxpath - XPath를 사용한 선언적 웹 그래프 탐색 새로운 기능: TUI - wxpath 표현식을 테스트하고 데이터를 내보내기 위한 대화형 터미널 인터페이스Textual 기반. 설치 Python 3.10+ 필요. root@kitploit: pip install wxpath TUI 지원을 위해: pip install "wxpathtui" uv를 통해 TUI 즉시 실행: uvx --from "wxpathtui" wxpath-tui wxpath란? wxpath 는 탐색을 XPath로 직접 표현하는 선언형 웹 크롤러입니다...

grubcrawler

エージェント型ウェブクローラー - アンチディテクション、ビジョンフォールバック、P2Pメッシュ搭載 エンドポイント · メッシュ · アンチディテクション · ゴーストプロトコル · ライブストリーム · MCPツール · クイックスタート · ベンチマーク · アーキテクチャ...

sql-global-injector

Ultimate-Dork WebクローラーとSQLインジェクション脆弱性のスキャン 使い方とインストール root@kitploit: - Installation apt-get install python python3 git git clone https://github.com/nu11secur1ty/sql-global-injector.git python3 -m pip install requests mechanicalsoup cd sql-global-injector - Usage python3 ultimate-dork.py -h show...

xepor

Xepor Xepor pronounced /ˈzɛfə/ , zephyr is a web routing framework for reverse engineers and security researchers. It provides a Flask-like API for hackers to intercept and modify HTTP requests and/or HTTP responses in a human-friendly coding style. This project is meant to be used with mitmproxy...

sqlifinder

Python으로 제작된 SQL 인젝션 스캐너입니다. 기능 • 설치 • 사용법 • sqlifinder는 waybackurls, 웹 크롤러 및 SQL 인젝션 페이로드를 사용하여 웹 애플리케이션의 GET 기반 SQL 인젝션 취약점을 탐지하는 도구입니다. 기능 빠르고 강력한 스캐너 웹 크롤러 및 waybackurls 포함 사용법...

JAW

J A W 网站 | 文档 | 设置 | 爬虫 | 快速开始 Docker（示例） JAW 一个基于 esprima 解析器和 EsTree SpiderMonkey Spec 的 JavaScript 属性图开源原型实现。JAW 可用于分析 Web 应用程序的客户端和基于 JavaScript 的程序。 本项目采用 GNU AFFERO GENERAL PUBLIC LICENSE V3.0 许可。更多信息请参见此处。 JAW 有一个 Github Pages 网站，网址为 https://soheilkhodayari.github.io/JAW/。 发布说明： 2025 年 9...

SpiderSuite

SpiderSuite는 보안 전문가를 위해 설계된 고급 크로스 플랫폼 다기능 웹 크롤러입니다. 더 많은 정보는 SpiderSuite의 웹사이트를 방문하세요. 설치 및 사용법 Spider Suite는 처음 사용하는 사람도 쉽게 설치하고 사용할 수 있도록 설계되었습니다. 먼저 원하는 패키지를 다운로드하세요. 그런 다음 다운로드한 SpiderSuite 패키지를 설치하세요. 시작 방법에 대한 튜토리얼은 SpiderSuite로 처음 크롤링하기 문서를 참조하세요. Spider Suite의 전체 문서는 위키를 참조하세요. 기여하기 버그 보...

evine

Evine Interactive CLI Web Crawler. Evine is a simple, fast, and interactive web crawler and web scraper written in Golang. Evine is useful for a wide range of purposes such as metadata and data extraction, data mining, reconnaissance and testing. If you like the project, give it a star. It forces...

evine

Evine 대화형 CLI 웹 크롤러. Evine는 Golang으로 작성된 간단하고 빠르며 대화형 웹 크롤러이자 웹 스크래퍼입니다. Evine는 메타데이터 및 데이터 추출, 데이터 마이닝, 정찰 및 테스트와 같은 다양한 목적에 유용합니다. 프로젝트가 마음에 드시면 별표를 눌러주세요. 그러면 제가 프로젝트를 개발하는 데 힘이 됩니다! 설치 바이너리로 설치 미리 빌드된 바이너리 릴리스도 사용 가능합니다권장. 소스로 설치 root@kitploit: go get github.com/saeeddhqan/evine...

xcrawl3r

xcrawl3r xcrawl3r는 URL을 찾기 위해 웹 페이지를 재귀적으로 크롤링하도록 설계된 명령줄 유틸리티입니다. 웹사이트를 능동적으로 탐색하며웹 페이지에 포함된 링크를 따라가고, 사이트맵 및 robots.txt를 포함한 파일을 파싱하여 모든 URL을 발견합니다. 대상과 직접 상호작용하지 않는 xurlfind3r와 달리, xcrawl3r는 페이지를 실시간으로 크롤링하여 대상과 직접 상호작용합니다. 이러한 능동적 접근 방식을 통해 숨겨져 있거나 인덱싱되지 않은 URL을 발견할 수 있어, 웹사이트의 탐색 흐름과 콘텐츠 분포에...

gospider

GoSpider GoSpider - Go로 작성된 빠른 웹 스파이더 GoSpider를 리콘 워크플로우에 손쉽게 통합하세요? 이 프로젝트는 Osmedeus Engine의 일부였습니다. @OsmedeusEngine에서 통합 방법을 확인하세요. 설치 GO 설치 root@kitploit: GO111MODULE=on go install github.com/jaeles-project/gospider@latest Docker root@kitploit: 저장소 클론 git clone...

dcrawl

dcrawl dcrawl is a simple, but smart, multi-threaded web crawler for randomly gathering huge lists of unique domain names. How it works? dcrawl takes one site URL as input and detects all links in the site's body. Each found link is put into the queue. Successively, each queued link is crawled in...

dcrawl

dcrawl dcrawl는 단순하지만 스마트한 멀티스레드 웹 크롤러로, 무작위로 수많은 고유 도메인 이름을 수집합니다. 작동 방식 dcrawl는 하나의 사이트 URL을 입력받아 해당 사이트 본문에서 모든 링크를 탐지합니다. 발견된 각 링크는 큐에 추가됩니다. 이후 각 큐에 추가된 링크를 같은 방식으로 크롤링하며, 각 사이트 본문의 링크에서 더 많은 URL로 분기합니다. 스마트 크롤링 작동 방식: 하나의 호스트명당 사전 정의된 수의 링크로만 분기합니다. 하나의 도메인당 허용되는 최대 서로 다른 호스트명 수 예:...

ache

ACHE 집중 크롤러 ACHE는 집중 웹 크롤러focused web crawler입니다. 특정 기준예: 특정 도메인에 속하거나 사용자가 지정한 패턴을 포함하는 페이지을 만족하는 웹 페이지를 수집합니다. ACHE는 일반 크롤러와 달리 페이지 분류기page classifiers를 사용하여 주어진 도메인에서 관련 페이지와 관련 없는 페이지를 구분합니다. 페이지 분류기는 단순한 정규 표현식예: 특정 단어를 포함하는 모든 페이지를 일치시키는부터 머신러닝 기반 분류 모델까지 다양할 수 있습니다. ACHE는 또한 관련 콘텐츠를 효율적으로 ...

PenCrawLer

PenCrawLer 고급 웹 크롤러 및 DirBuster PeNCrawLer는 Windows OS 기반 침투 테스트에 사용하도록 설계된 고급 웹 크롤러이자 dirbuster입니다. 기능에 대한 자세한 내용은 위키를 참조하세요: https://github.com/TheM4hd1/PenCrawLer/wiki...

second-order

Second Order 웹 애플리케이션을 크롤링하여 특정 규칙과 일치하거나 특정 방식으로 응답하는 URL및 기타 데이터을 수집함으로써 2차 서브도메인 탈취second-order subdomain takeover를 검사합니다. 설치 바이너리로 설치 릴리스 페이지에서 미리 빌드된 바이너리를 다운로드하여 압축을 푸세요. 소스로 설치 Go 버전 1.17을 권장합니다. root@kitploit: go install -v github.com/mhmdiaa/second-order@latest Docker root@kitploit: dock...