hakrawler

Hakrawler Fast golang web crawler for gathering URLs and JavaScript file locations. This is basically a simple implementation of the awesome Gocolly library. Example usages Single URL: echo https://google.com | hakrawler Multiple URLs: cat urls.txt | hakrawler Timeout for each line of stdin after...

Photon

Photon Incredibly fast crawler designed for OSINT. Photon Wiki • How To Use • Compatibility • Photon Library • Contribution • Roadmap Key Features Data Extraction Photon can extract the following data while crawling: URLs in-scope & out-of-scope URLs with parameters example.com/gallery.php?id=2...

evine

Evine Interactive CLI Web Crawler. Evine is a simple, fast, and interactive web crawler and web scraper written in Golang. Evine is useful for a wide range of purposes such as metadata and data extraction, data mining, reconnaissance and testing. If you like the project, give it a star. It forces...

ache

ACHE Focused Crawler ACHE is a focused web crawler. It collects web pages that satisfy some specific criteria, e.g., pages that belong to a given domain or that contain a user-specified pattern. ACHE differs from generic crawlers in sense that it uses page classifiers to distinguish between...

sqlifinder

SQL Injection scanner made with python. Features • Install • Usage • sqlifinder is a tool with the function of detecting GET-based sql injection vulnerabilities in web applications using waybackurls, web crawlers and sql injection payloads. Features Fast and powerful scanner Include web crawler a...

festin

FestIN the powered S3 bucket finder and content discover What is FestIn Why Festin Install Using Python Using Docker Full options Usage Configure search domains Concurrency HTTP Crawling configuration Manage results Proxy usage DNS Options Full Text Support Running as a service or watching mode...

domain_analyzer

Domain Analyzer v0.8.3 What Domain analyzer is a security analysis tool that automatically discovers and reports information about a given domain. Its main purpose is to analyze domains in an unattended way. It has many crazy features, such as getting more domains from DNS zones, automatic nmap,...

dirhunt

.. image:: https://raw.githubusercontent.com/Nekmo/dirhunt/v0.2.0/images/dirhunt.png | .. image:: https://raw.githubusercontent.com/Nekmo/dirhunt/pip-rating-badge/pip-rating-badge.svg :target: https://github.com/Nekmo/dirhunt/actions/workflows/pip-rating.yml :alt: pip-rating badge .. image::...

mec

mec MassExploitConsole Intended for mass exploiting Follow thewiki to get started Features Easy-to-use CLI UI Execute adpated exploits with process-level concurrency Built-in exploits automated Hide your IP using proxychains4 and proxypool ZoomEye host scan 10 threads Simple Baidu crawler...

Pinkerton

🕵️ Pinkerton 1850년부터 JavaScript 파일을 조사 중 Python 프로젝트로, JavaScript 파일을 크롤링하여 API 키, 인증 토큰, 하드코딩된 비밀번호 등 비밀 정보를 검색합니다. ⚡ 시작하기 Pinkerton을 설치하고 사용하는 빠른 가이드입니다. 1. 저장소를 클론합니다: git clone https://github.com/000pp/pinkerton.git 2. 라이브러리를 설치합니다: pip3 install -r requirements.txt --break-system-packages 3...

EasySpider

EasySpider: 코드 없는 시각적 웹 크롤러 완전 무료 상업적 사용 및 2차 개발 포함인 시각적 브라우저 자동화 테스트/데이터 수집/크롤러 소프트웨어로, 그래픽 인터페이스를 사용하여 코드 없이 시각적으로 작업을 설계하고 실행할 수 있습니다. 웹 페이지에서 원하는 내용을 선택하고 안내에 따라 작업을 완료하기만 하면 됩니다. 또한 명령줄에서 별도로 실행할 수 있어 다른 시스템에 쉽게 통합할 수 있습니다. EasySpider 다운로드 Releases Page에서 최신 버전을 다운로드하세요. 다운로드 속도가 느리다면 중국 내...

hakrawler

Hakrawler Быстрый веб-краулер на Go для сбора URL-адресов и расположений JavaScript-файлов. По сути, это простая реализация отличной библиотеки Gocolly. Примеры использования Одиночный URL: echo https://google.com | hakrawler Несколько URL: cat urls.txt | hakrawler Тайм-аут для каждой строки stdi...

evine

Evine 대화형 CLI 웹 크롤러. Evine는 Golang으로 작성된 간단하고 빠르며 대화형 웹 크롤러이자 웹 스크래퍼입니다. Evine는 메타데이터 및 데이터 추출, 데이터 마이닝, 정찰 및 테스트와 같은 다양한 목적에 유용합니다. 프로젝트가 마음에 드시면 별표를 눌러주세요. 그러면 제가 프로젝트를 개발하는 데 힘이 됩니다! 설치 바이너리로 설치 미리 빌드된 바이너리 릴리스도 사용 가능합니다권장. 소스로 설치 go get github.com/saeeddhqan/evine "$GOPATH/bin/evine" -h...

FinalRecon

Twitter - Telegram - thewhiteh4t's Blog FinalRecon is an all in one automatic web reconnaissance tool written in python. Goal of FinalRecon is to provide an overview of the target in a short amount of time while maintaining the accuracy of results. Instead of executing several tools one after...

Pyison

Pyison Pyison은 AI 웹 크롤러를 위한 타르핏tarpit입니다 소개 모든 웹 크롤러와 마찬가지로 AI 봇은 웹 서버에서 페이지를 요청한 다음 페이지의 링크를 따라 다른 페이지로 이동합니다. 이렇게 하면 전체 웹사이트의 색인을 구축할 수 있습니다. 하지만 다른 웹 크롤러와 달리 AI 봇은 몇 가지 고유한 문제를 제기합니다. 서버 관리자는 웹 크롤러에게 크롤링해야 할 페이지와 크롤링하지 말아야 할 페이지를 알려주는 robots.txt 파일을 구성할 수 있습니다. 일부 AI 크롤러는 이 파일을 무시하는 것으로 밝혀졌습니다...

Pantheon

판테온 판테온 소개 판테온은 다양한 국가의 네트워크 카메라 정보를 표시하고, 보호되지 않은 카메라에 대한 통합 라이브 피드를 제공하는 GUI 애플리케이션입니다. 기능 판테온은 사용자가 API 크롤러를 실행할 수 있게 해줍니다. 원래는 API예: Insecam를 사용하지 않는 기능도 있었지만, Google TOS가 원래 스크래핑 메커니즘에 계속 방해가 되었습니다. 설치 1. git clone https://github.com/josh0xA/Pantheon.git 2. cd Pantheon 3. pip3 install -r...

xcrawl3r

xcrawl3r xcrawl3r는 URL을 찾기 위해 웹 페이지를 재귀적으로 크롤링하도록 설계된 명령줄 유틸리티입니다. 웹사이트를 능동적으로 탐색하며웹 페이지에 포함된 링크를 따라가고, 사이트맵 및 robots.txt를 포함한 파일을 파싱하여 모든 URL을 발견합니다. 대상과 직접 상호작용하지 않는 xurlfind3r와 달리, xcrawl3r는 페이지를 실시간으로 크롤링하여 대상과 직접 상호작용합니다. 이러한 능동적 접근 방식을 통해 숨겨져 있거나 인덱싱되지 않은 URL을 발견할 수 있어, 웹사이트의 탐색 흐름과 콘텐츠 분포에...

second-order

Second Order 웹 애플리케이션을 크롤링하여 특정 규칙과 일치하거나 특정 방식으로 응답하는 URL및 기타 데이터을 수집함으로써 2차 서브도메인 탈취second-order subdomain takeover를 검사합니다. 설치 바이너리로 설치 릴리스 페이지에서 미리 빌드된 바이너리를 다운로드하여 압축을 푸세요. 소스로 설치 Go 버전 1.17을 권장합니다. go install -v github.com/mhmdiaa/second-order@latest Docker docker pull mhmdiaa/second-order 명...

nuubi

Nuubi Tools Scanner, Recon. Details Options: -h/--help | Show help message and exit Arguments: -b/--banner | Banner grabing of target ip address -s/--subnet | Subnetlookup of target -c/--cms | Cms detect with headers -d/--dns | Dnslookup of target domain -e/--extract | Extract links from target...

gospider

GoSpider GoSpider - Go로 작성된 빠른 웹 스파이더 GoSpider를 리콘 워크플로우에 손쉽게 통합하세요? 이 프로젝트는 Osmedeus Engine의 일부였습니다. @OsmedeusEngine에서 통합 방법을 확인하세요. 설치 GO 설치 GO111MODULE=on go install github.com/jaeles-project/gospider@latest Docker 저장소 클론 git clone https://github.com/jaeles-project/gospider.git 컨테이너 빌드 docker...