uddup

UDdup - Инструмент для дедупликации URL Инструмент получает список URL и удаляет «дублирующиеся» страницы в том смысле, что шаблоны URL, вероятно, повторяются и указывают на один и тот же веб-шаблон. Например: root@kitploit: https://www.example.com/product/123 https://www.example.com/product/456...