xcrawl3r

xcrawl3r xcrawl3r एक कमांड-लाइन उपयोगिता है जो URL के लिए वेबपेजों को पुनरावर्ती रूप से क्रॉल करने के लिए डिज़ाइन की गई है। यह वेबसाइटों पर सक्रिय रूप से नेविगेट करके काम करता है - वेबपेजों में एम्बेडेड लिंक का अनुसरण करके, और फाइलों साइटमैप और robots.txt सहित को पार्स करके - प्रत्येक URL का पता...