xcrawl3r

xcrawl3r xcrawl3r — это утилита командной строки, предназначенная для рекурсивного обхода веб-страниц с целью сбора URL-адресов. Она активно просматривает сайты, переходя по ссылкам, встроенным в веб-страницы, и анализируя файлы включая карты сайта и robots.txt, чтобы обнаружить все возможные URL...