xcrawl3r

xcrawl3r xcrawl3r est un utilitaire en ligne de commande conçu pour parcourir récursivement les pages web à la recherche d'URL. Il fonctionne en traversant activement les sites web – en suivant les liens intégrés dans les pages et en analysant les fichiers y compris les sitemaps et robots.txt –...