dcrawl

dcrawl dcrawl è un web crawler semplice ma intelligente e multi-thread per raccogliere casualmente enormi elenchi di nomi di dominio unici. Come funziona? dcrawl prende un URL di un sito come input e rileva tutti i link nel corpo del sito. Ogni link trovato viene inserito nella coda...