xcrawl3r

xcrawl3r xcrawl3r è un'utilità da riga di comando progettata per esplorare ricorsivamente pagine web alla ricerca di URL. Funziona attraversando attivamente i siti web - seguendo i collegamenti incorporati nelle pagine web e analizzando file inclusi sitemap e robots.txt - per scoprire ogni URL. A...