gospider

GoSpider GoSpider - Fast web spider written in Go Painless integrate Gospider into your recon workflow? this project was part of Osmedeus Engine. Check out how it was integrated at @OsmedeusEngine Installation GO install root@kitploit: GO111MODULE=on go install...

AIL-framework

AIL 프레임워크 비정형 정보의 수집, 크롤링, 처리 및 분석을 위한 오픈소스 프레임워크. AIL 프레임워크는 클리어 웹, Tor, I2P, 채팅, 파일 및 외부 피드에서 비정형 데이터를 수집, 크롤링, 처리 및 분석 하기 위한 오픈소스 플랫폼입니다. 원래 CIRCL에서 개발된 AIL은 분석가가 추출, 태깅, 탐지, 상관관계 및 조사 워크플로를 통해 원시적이고 지저분한 콘텐츠를 구조화된 인텔리전스로 변환할 수 있도록 지원합니다. AIL이란? https://ail-project.org AIL정보 유출 분석은 비정형 정보의 수집,...

Photon

Photon OSINT를 위해 설계된 엄청나게 빠른 크롤러. Photon Wiki • 사용 방법 • 호환성 • Photon 라이브러리 • 기여 • 로드맵 주요 기능 데이터 추출 Photon은 크롤링 중에 다음 데이터를 추출할 수 있습니다: URL 범위 내 및 범위 외 파라미터가 포함된 URL example.com/gallery.php?id=2 인텔 이메일, 소셜 미디어 계정, Amazon 버킷 등 파일 pdf, png, xml 등 비밀 키 인증/API 키 및 해시 JavaScript 파일 및 그 안에 있는 엔드포인트 사용자 정...

SourceWolf

SourceWolf ​ 테스트 환경: Windows, MAC, Linux 및 Linux용 Windows 하위 시스템WSL 스폰서 이 프로젝트를 후원해 주세요. 다음은 훌륭한 스폰서입니다: Oxylabs는 195개국 1억 개 이상의 IP를 보유한 프리미엄 프록시와 즉시 사용 가능한 Scraper API를 제공합니다. 독점 프로모션 코드 boost35 를 사용하여 Residential, Mobile 프록시, Web Unblocker 및 Scraper API를 35% 할인받으세요. 목차 기능 설치 사용법 워크플로우에 어떻게 통합할 ...

jshole

jshole 간단한 JavaScript 구성 요소 취약점 스캐너, RetireJS 기반. 왜 RetireJS 대신 JShole을 사용해야 할까요? 기본적으로 RetireJS는 한 페이지만 검색하지만, JShole은 모든 페이지를 크롤링하려고 시도합니다. 시작하기 요구 사항 requests 설치 git clone https://github.com/callforpapers-source/jshole.git cd jshole pip3 install -r requirements python3 jshole.py root@kitploit:...

festin

FestIN 강력한 S3 버킷 파인더 및 콘텐츠 발견 도구 FestIn이란 Festin을 사용하는 이유 설치 Python 사용 Docker 사용 전체 옵션 사용법 검색 도메인 설정 동시성 HTTP 크롤링 설정 결과 관리 프록시 사용 DNS 옵션 전문 검색 지원 서비스로 실행 감시 모드 예제: FestIn + DnsRecon 조합 1단계 - 대상 도메인에 대해 원하는 옵션으로 dnsrecon 실행하고 출력 저장 2단계 - 이전 생성된 파일을 FestIn에 입력할 수 있도록 준비 3단계 - 원하는 옵션으로 FestIn 실행하고 출...

dark-web-osint-tools

🕵️‍♂️ 다크 웹을 위한 OSINT 도구 🔎 다크 웹 검색 엔진 도구 Katana - https://github.com/adnane-X-tebbaa/Katana OnionSearch - https://github.com/megadose/OnionSearch Darkdump - https://github.com/josh0xA/darkdump Ahmia 검색 엔진 - ahmia.fi, https://github.com/ahmia/ahmia-site Darkus - https://github.com/Lucksi/Darkus Onion...

katana

차세대 크롤링 및 스파이더링 프레임워크 기능 • 설치 • 사용법 • 범위 • 설정 • 필터 • Discord 참여 기능 빠르고 완전히 구성 가능한 웹 크롤링 표준 및 헤드리스 모드 JavaScript 파싱 / 크롤링 사용자 정의 가능한 자동 양식 채우기 범위 제어 - 사전 구성된 필드 / 정규식 지식 베이스 - ML 페이지 유형 / 양식 분류 자동 다운로드 모델 사용자 정의 가능한 출력 - 사전 구성된 필드 입력 - STDIN , URL 및 LIST 출력 - STDOUT , FILE 및 JSON 설치 katana를 설치하려면...

HTTPLoot

HTTPLoot 사이트의 클라이언트 측 코드를 동시에 크롤링하고, 양식을 채우고, 오류/디버그 페이지를 트리거하고, 비밀 정보를 "약탈"할 수 있는 자동화 도구입니다. 사용법 도구를 사용하려면 저장소의 Releases 섹션에서 미리 빌드된 바이너리 중 하나를 가져오면 됩니다. 소스 코드를 직접 빌드하려면 Go 1.16 이상이 필요합니다. go build를 실행하면 사용 가능한 바이너리가 생성됩니다. 또한 바이너리와 함께 두 개의 JSON 파일lootdb.json 및 regexes.json이 필요하며, 이 파일들은 저장소 자체에...

domain_analyzer

Domain Analyzer v0.8.3 What Domain analyzer is a security analysis tool that automatically discovers and reports information about a given domain. Its main purpose is to analyze domains in an unattended way. It has many crazy features, such as getting more domains from DNS zones, automatic nmap,...

domain_analyzer

도메인 분석기 v0.8.3 무엇인가 Domain Analyzer는 주어진 도메인에 대한 정보를 자동으로 발견하고 보고하는 보안 분석 도구입니다. 주요 목적은 무인 방식으로 도메인을 분석하는 것입니다. DNS 영역에서 더 많은 도메인을 가져오기, 자동 nmap, 웹 크롤러, 세계 정복 모드 등 많은 멋진 기능이 있습니다. 기능을 확인해보세요. nmap이 더 많은 포트를 스캔하고 스크립트를 실행하며 해당 웹사이트에서 크롤러를 실행하려면 root 권한이 필요합니다. 기본 옵션 예시 https://asciinema.org/a/4662...

subcrawl

SubCrawl SubCrawl은 HP Inc의 Threat Research 팀 소속 Patrick Schläpfer, Josh Stroschein 및 Alex Holland이 개발한 프레임워크입니다. SubCrawl은 공개 디렉토리를 찾고, 스캔하며, 분석하도록 설계되었습니다. 프레임워크는 모듈식으로, 입력 모듈, 처리 모듈, 출력 모듈 및 코어 크롤링 엔진의 네 가지 구성 요소로 이루어져 있습니다. URL이 주요 입력 값이며, 프레임워크는 이를 파싱하여 큐 시스템에 추가한 후 크롤링합니다. URL 파싱은 중요한 첫 단계로,...

Lurkstrain

Lurkstrain 面向渗透测试人员的一体化管理员面板爬虫。...

responsible-disclosure-email-gathering

責任ある開示メールの収集 目的 ホストに脆弱性を発見したが、そのホスト/組織がHackerOneやBugCrowdでアクティブなプログラムを持っていない場合があります。そのような場合、このワークフローが役立ちます！大まかに言うと、ウェブサイトをクロールし、調査結果を提出できるセキュリティ関連のメールを探します。 前提条件 Katana Nuclei アクティブなインターネット接続 プロセス このワークフローは以下を行います: 1. Katanaを使用してターゲットホストをクロールする 2. Katanaからの出力がNucleiに解析される 3...

CVE-2026-84366

Scrapy is a high-level web crawling and scraping framework for Python...

UBUNTU-CVE-2026-84366

Scrapy is a high-level web crawling and scraping framework for Python...

CVE-2026-76993

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

EUVD-2026-63377

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

CVE-2026-76993 GreyDGL PentestGPT Web-Page Crawling injection

A vulnerability was determined in GreyDGL PentestGPT up to 1.0.0. This vulnerability affects unknown code of the component Web-Page Crawling. Executing a manipulation of the argument Traceback can lead to injection. The attack can be executed remotely. A high complexity level is associated with...

[SECURITY] Fedora 44 Update: python-scrapy-2.14.2-1.fc44

Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, from data mining to monitoring and automated testing...