Parsero

Parsero क्या है? Parsero एक मुफ्त स्क्रिप्ट है जो Python में लिखी गई है और जो वेब सर्वर की Robots.txt फ़ाइल को पढ़ती है और Disallow प्रविष्टियों को देखती है। Disallow प्रविष्टियाँ खोज इंजनों को बताती हैं कि वेब सर्वर पर होस्ट की गई कौन सी निर्देशिकाएँ या फ़ाइलें इंडेक्स नहीं की जानी चाहिए। उदाहरण...