Parsero

¿Qué es Parsero? Parsero es un script gratuito escrito en Python que lee el archivo Robots.txt de un servidor web y examina las entradas Disallow. Las entradas Disallow le indican a los motores de búsqueda qué directorios o archivos alojados en un servidor web no deben ser indexados. Por ejemplo,...