xcrawl3r

xcrawl3r xcrawl3r هي أداة سطر أوامر مُصمَّمة لزحف صفحات الويب بشكل استرجاعي لجلب عناوين URL. تعمل عن طريق اجتياز المواقع بنشاط - متتبعة الروابط المُضمَّنة في صفحات الويب، وتحليل الملفات بما في ذلك خرائط الموقع و robots.txt - للكشف عن كل عنوان URL. على عكس xurlfind3r الذي لا يتفاعل مباشرة مع الهدف...