xcrawl3r

xcrawl3r xcrawl3r es una utilidad de línea de comandos diseñada para rastrear recursivamente páginas web en busca de URLs. Funciona recorriendo activamente los sitios web, siguiendo enlaces incrustados en páginas web y analizando archivos incluyendo sitemaps y robots.txt para descubrir cada URL. ...