dcrawl

dcrawl dcrawl es un rastreador web simple, pero inteligente, de múltiples hilos para recolectar aleatoriamente enormes listas de nombres de dominio únicos. ¿Cómo funciona? dcrawl toma una URL de sitio como entrada y detecta todos los enlaces en el cuerpo del sitio. Cada enlace encontrado se coloc...