Photon

Photon Incredibly fast crawler designed for OSINT. Photon Wiki • How To Use • Compatibility • Photon Library • Contribution • Roadmap Key Features Data Extraction Photon can extract the following data while crawling: URLs in-scope & out-of-scope URLs with parameters example.com/gallery.php?id=2...

AIL-framework

AIL Framework Open-source framework for the collection, crawling, processing, and analysis of unstructured information. AIL framework is an open-source platform to collect, crawl, process and analyse unstructured data from the clear web, Tor, I2P, chats, files and external feeds. Originally...

domain_analyzer

Domain Analyzer v0.8.3 What Domain analyzer is a security analysis tool that automatically discovers and reports information about a given domain. Its main purpose is to analyze domains in an unattended way. It has many crazy features, such as getting more domains from DNS zones, automatic nmap,...

subcrawl

SubCrawl SubCrawl은 HP Inc의 Threat Research 팀 소속 Patrick Schläpfer, Josh Stroschein 및 Alex Holland이 개발한 프레임워크입니다. SubCrawl은 공개 디렉토리를 찾고, 스캔하며, 분석하도록 설계되었습니다. 프레임워크는 모듈식으로, 입력 모듈, 처리 모듈, 출력 모듈 및 코어 크롤링 엔진의 네 가지 구성 요소로 이루어져 있습니다. URL이 주요 입력 값이며, 프레임워크는 이를 파싱하여 큐 시스템에 추가한 후 크롤링합니다. URL 파싱은 중요한 첫 단계로,...

katana

차세대 크롤링 및 스파이더링 프레임워크 기능 • 설치 • 사용법 • 범위 • 설정 • 필터 • Discord 참여 기능 빠르고 완전히 구성 가능한 웹 크롤링 Standard 및 Headless 모드 JavaScript 파싱 / 크롤링 사용자 정의 가능한 자동 폼 채우기 범위 제어 - 사전 구성된 필드 / Regex 지식 베이스 - ML 페이지 유형 / 폼 분류 자동 다운로드 모델 사용자 정의 가능한 출력 - 사전 구성된 필드 INPUT - STDIN , URL 및 LIST OUTPUT - STDOUT , FILE 및 JSON...

gospider

GoSpider GoSpider - Fast web spider written in Go Painless integrate Gospider into your recon workflow? this project was part of Osmedeus Engine. Check out how it was integrated at @OsmedeusEngine Installation GO install GO111MODULE=on go install github.com/jaeles-project/gospider@latest Docker...

HTTPLoot

HTTPLoot 사이트의 클라이언트 측 코드를 동시에 크롤링하고, 양식을 채우고, 오류/디버그 페이지를 트리거하고, 비밀 정보를 "약탈"할 수 있는 자동화 도구입니다. 사용법 도구를 사용하려면 저장소의 Releases 섹션에서 미리 빌드된 바이너리 중 하나를 가져오면 됩니다. 소스 코드를 직접 빌드하려면 Go 1.16 이상이 필요합니다. go build를 실행하면 사용 가능한 바이너리가 생성됩니다. 또한 바이너리와 함께 두 개의 JSON 파일lootdb.json 및 regexes.json이 필요하며, 이 파일들은 저장소 자체에...

festin

FestIN 강력한 S3 버킷 파인더 및 콘텐츠 발견 도구 FestIn이란 Festin을 사용하는 이유 설치 Python 사용 Docker 사용 전체 옵션 사용법 검색 도메인 설정 동시성 HTTP 크롤링 설정 결과 관리 프록시 사용 DNS 옵션 전문 검색 지원 서비스로 실행 감시 모드 예제: FestIn + DnsRecon 조합 1단계 - 대상 도메인에 대해 원하는 옵션으로 dnsrecon 실행하고 출력 저장 2단계 - 이전 생성된 파일을 FestIn에 입력할 수 있도록 준비 3단계 - 원하는 옵션으로 FestIn 실행하고 출...

dark-web-osint-tools

🕵️‍♂️ 다크 웹을 위한 OSINT 도구 🔎 다크 웹 검색 엔진 도구 Katana - https://github.com/adnane-X-tebbaa/Katana OnionSearch - https://github.com/megadose/OnionSearch Darkdump - https://github.com/josh0xA/darkdump Ahmia 검색 엔진 - ahmia.fi, https://github.com/ahmia/ahmia-site Darkus - https://github.com/Lucksi/Darkus Onion...

SourceWolf

SourceWolf ​ 테스트 환경: Windows, MAC, Linux 및 Linux용 Windows 하위 시스템WSL 스폰서 이 프로젝트를 후원해 주세요. 다음은 훌륭한 스폰서입니다: Oxylabs는 195개국 1억 개 이상의 IP를 보유한 프리미엄 프록시와 즉시 사용 가능한 Scraper API를 제공합니다. 독점 프로모션 코드 boost35 를 사용하여 Residential, Mobile 프록시, Web Unblocker 및 Scraper API를 35% 할인받으세요. 목차 기능 설치 사용법 워크플로우에 어떻게 통합할 ...

jshole

jshole 간단한 JavaScript 구성 요소 취약점 스캐너, RetireJS 기반. 왜 RetireJS 대신 JShole을 사용해야 할까요? 기본적으로 RetireJS는 한 페이지만 검색하지만, JShole은 모든 페이지를 크롤링하려고 시도합니다. 시작하기 요구 사항 requests 설치 git clone https://github.com/callforpapers-source/jshole.git cd jshole pip3 install -r requirements python3 jshole.py usage: jshole ...

domain_analyzer

도메인 분석기 v0.8.3 무엇인가 Domain Analyzer는 주어진 도메인에 대한 정보를 자동으로 발견하고 보고하는 보안 분석 도구입니다. 주요 목적은 무인 방식으로 도메인을 분석하는 것입니다. DNS 영역에서 더 많은 도메인을 가져오기, 자동 nmap, 웹 크롤러, 세계 정복 모드 등 많은 멋진 기능이 있습니다. 기능을 확인해보세요. nmap이 더 많은 포트를 스캔하고 스크립트를 실행하며 해당 웹사이트에서 크롤러를 실행하려면 root 권한이 필요합니다. 기본 옵션 예시 https://asciinema.org/a/4662...

responsible-disclosure-email-gathering

책임 공개 이메일 수집 목적 호스트에서 취약점을 발견했지만 해당 호스트/조직에 HackerOne 또는 BugCrowd의 활성 프로그램이 없을 수 있습니다. 이런 경우 이 워크플로우가 적합합니다! 대략적으로 웹사이트를 크롤링하여 발견 사항을 제출할 수 있는 보안 관련 이메일을 찾아냅니다. 사전 요구 사항 Katana Nuclei 활성 인터넷 연결 프로세스 이 워크플로우는 다음을 수행합니다: 1. Katana를 사용하여 대상 호스트를 크롤링합니다. 2. Katana의 출력은 Nuclei로 전달되어 파싱됩니다. 3. Nuclei...

Lurkstrain

Lurkstrain An all in one admin panel crawler for pentesters...

CVE-2026-84366

Scrapy is a high-level web crawling and scraping framework for Python. Prior to 2.17.0, in scrapy/core/downloader/handlers/s3.py, Scrapy's S3DownloadHandler converts an S3-scheme bucket and key request into a plaintext HTTP request to the corresponding S3 endpoint unless request.meta"issecure" is...

UBUNTU-CVE-2026-84366

Scrapy is a high-level web crawling and scraping framework for Python. Prior to 2.17.0, in scrapy/core/downloader/handlers/s3.py, Scrapy's S3DownloadHandler converts an S3-scheme bucket and key request into a plaintext HTTP request to the corresponding S3 endpoint unless request.meta"issecure" is...

CVE-2026-76993

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

EUVD-2026-63377

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

CVE-2026-76993 GreyDGL PentestGPT Web-Page Crawling injection

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

PT-2026-79029

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...