Scrapegraph-ai

🚀 ¿Buscas una forma aún más rápida y sencilla de hacer scraping a escala solo 5 líneas de código? ¡Echa un vistazo a nuestra versión mejorada en ScrapeGraphAI.com! 🚀 🕷️ ScrapeGraphAI: Solo Scrapeas Una Vez English | 中文 | 日本語 | 한국어 | Русский | Türkçe | Deutsch | Español | français | Português |...

bing-ip2hosts

Bing-ip2hosts Bing-ip2hosts 是一个 Bing.com 网页抓取器，通过 IP 地址发现主机名。 描述 Bing-ip2hosts 是一个 Bing.com 网页抓取器，通过 IP 地址发现主机名。Bing 是微软的旗舰搜索引擎，前身为 MSN Search 和 Live Search。 它提供了一个搜索引擎独有的功能——允许按 IP 地址进行搜索。Bing-ip2hosts 利用了这个功能。 它可以用于发现子域名和其他相关域名。它还有助于识别在共享主机环境中托管的网站。该技术遵循渗透测试或漏洞赏金侦察阶段的最佳实践，用以扩展目标的攻击面。 与许多其他通过网页抓...

camoufox

Camoufox Camoufox is an open source anti-detect browser built for webscraping & AI agents. 🦊 ⚠️ This project is under development. It may not be suitable for stable production use. ⚠️ !NOTE All of the latest documentation is available atcamoufox.com. !NOTE Browser development is active at...

darkdump

darkdump Acerca de Darkdump es una herramienta OSINT de código abierto para la investigación en la web profunda. Dada una consulta de búsqueda, obtiene resultados de múltiples motores de búsqueda de la dark web, opcionalmente extrae de cada sitio de resultados correos electrónicos, metadatos,...

lk_scraper

LinkedIn Scraper Extrae cualquier dato de LinkedIn Instalación root@kitploit: $ pip install git+git://github.com/jqueguiner/lkscraper Configuración Usando Docker compose root@kitploit: $ docker-compose up -d $ docker-compose run lkscraper python3 Usando Docker solo para el servidor de Selenium...

Valid8Proxy

如果你觉得这个 GitHub 仓库有用，请考虑给它点个星标！⭐️ .png Valid8Proxy 是一款快速高效的工具，用于获取、验证和存储可用的代理（HTTP、HTTPS、SOCKS4、SOCKS5 及混合）。 非常适合网络爬虫、OSINT、自动化或网络测试。 🚀 在 Google Colab 上免费在线运行 ⭐ 功能特性 支持多种代理协议 HTTP、HTTPS、SOCKS4、SOCKS5 以及混合模式。 从多个实时数据源获取代理 高速并发验证 使用 ThreadPoolExecutor 实现多线程验证。 精确代理提取 基于严格正则表达式的 IP:PORT 提取。 可自定义验证...

firecrawl-mcp-server

Firecrawl MCP 服务器 一个模型上下文协议（MCP）服务器，将 Firecrawl 带入兼容 MCP 的 AI 代理——搜索、抓取并与实时网络交互，以获取干净、代理就绪的上下文。 特别感谢 @vrknetha 和 @knacklabs 的初始实现！ 功能特性 搜索网络并获取完整页面内容 将任何 URL 抓取为干净的结构化数据 与页面交互——点击、导航和操作 使用自主代理进行深度研究 自动重试和速率限制 云和自托管支持 SSE 支持 在 MCP.so 的游乐场 或 Klavis AI 上试用我们的 MCP 服务器。 安装 托管 MCP（无密钥免费层）...

requests-ip-rotator

Orgullosamente patrocinado por Swiftproxy Proxies residenciales de alto rendimiento con un grupo de más de 80 millones de IPs en más de 195 países — mejore las tasas de éxito de las solicitudes y reduzca los bloqueos de IP durante la recolección de datos a gran escala y la automatización de...

username-anarchy

Username Anarchy Version: 0.6 20 September 2024 Author: urbanadventurer Andrew Horton Homepage: https://www.morningstarsecurity.com/research/username-anarchy Source: https://github.com/urbanadventurer/username-anarchy/ License: MIT Description Tools for generating usernames when penetration...

Scrapling

Effortless Web Scraping for the Modern Web العربيه | Español | Português Brasil | Français | Deutsch | 简体中文 | 日本語 | Русский | 한국어 Selection methods · Fetchers · Spiders · Proxy Rotation · CLI · MCP Scrapling is an adaptive Web Scraping framework that handles everything from a single request to a...

tiktok-scraper

TikTok Scraper & Downloader 从TikTok抓取并下载有用的信息。 无需登录或密码 这不是官方API支持等。这只是一个使用TikTok Web API来抓取媒体和相关元信息的爬虫。 内容 功能 待办事项 贡献 安装 使用 在终端中 终端示例 管理下载历史 批量抓取和下载 输出文件示例 Docker 构建 运行 模块 方法 选项 使用Promise 使用事件 如何获取/设置会话值 如何访问/下载视频 输出示例 视频流方法 getUserProfileInfo getHashtagInfo getVideoMeta getMusicInfo 重要说明...

words-scraper

Words Scraper Web scraper basado en Selenium para generar listas de contraseñas. Instalación root@kitploit: Download Firefox webdriver from https://github.com/mozilla/geckodriver/releases $ tar xzf geckodriver-vVERSION-HERE.tar.gz $ sudo mv geckodriver /usr/local/bin Make sure it is in your PATH ...

fetchfox

FetchFox FetchFox 是一个由人工智能驱动的抓取、自动化和数据提取库。 它可以使用纯英语从任何网页抓取数据。它由 FetchFox AI scraper 的开发者制作。 开始使用 安装包和 playwright： root@kitploit: npm i fetchfox npx playwright install-deps npx playwright install 然后使用它。以下是回调风格： root@kitploit: import fox from 'fetchfox'; const workflow = await fox...

gorilla

gorilla gorilla es la herramienta definitiva de listas de palabras, que incluye un montón de utilidades increíbles como: construcción de listas de palabras basadas en patrones como crunch construcción de listas de palabras basadas en formatos comunes de contraseñas/nombres de usuario como cupp...

API-dnsdumpster.com

API de DNSDumpster NO OFICIAL ⚠️ AVISO IMPORTANTE : Este es un envoltorio de API NO OFICIAL para dnsdumpster.com que extrae datos del sitio web público. DNSDumpster.com ofrece un plan de API oficial para uso comercial y de alto volumen. Si necesitas acceso fiable y de nivel de producción, consider...

Security_Article

SecurityArticle scrapy website Article and link ... 0x01 Crear un nuevo proyecto 0x02 Definir los objetivos 0x03 Crear el crawler 0x04 Almacenar contenido e.g. pip3 install lxml,scrapy root@kitploit: 文章标题 ArticleTitle //@id="wrapper"/main/div/article/header/h5/a/text...

SEcraper

SEcraper 基于BASH脚本的搜索引擎抓取工具。 依赖 curl（命令行） 支持的搜索引擎 Ask.com Search.yahoo.com Bing.com 安装 root@kitploit: git clone https://github.com/zerobyte-id/SEcraper.git cd SEcraper/ 运行 root@kitploit: bash secraper.bash "QUERY" 谢谢 : 如果您想请我们喝杯咖啡，buymeacoffee.com/zerobyteid。...

firebase

firebase 利用存在漏洞或配置错误的 Firebase 数据库 免责声明：提供的软件仅用于教育目的。请自行决定使用，创建者对造成的任何损害概不负责。请负责任地使用！ 前置条件 非标准 Python 模块： dnsdumpster bs4 requests 安装 如果以下命令成功运行，你就可以使用该脚本了： root@kitploit: git clone https://github.com/Turr0n/firebase.git cd firebase pip install -r requirements.txt 用法 root@kitploit: python3...

Source

LibreWolf Source Repository This repository contains all the patches and theming that make up LibreWolf, as well as scripts and a Makefile to build LibreWolf. There also is the Settings repository, which contains the LibreWolf preferences. LibreWolf overview root@kitploit: graph LR FFSRCFirefox...

git-dump

git-dump Este script es una herramienta para descargar recursivamente el contenido del directorio '.git' de un sitio web. Utilizando Python y librerías como 'requests' y 'BeautifulSoup', este script examina la estructura de directorios, descarga archivos e identifica los hashes SHA-1 dentro de lo...