Parsero

Parsero란 무엇인가? Parsero는 Python으로 작성된 무료 스크립트로, 웹 서버의 Robots.txt 파일을 읽고 Disallow 항목을 확인합니다. Disallow 항목은 검색 엔진에 웹 서버에 호스팅된 디렉터리나 파일이 인덱싱되면 안 된다는 것을 알려줍니다. 예를 들어, "Disallow: /portal/login"은 www.example.com/portal/login의 콘텐츠가 Google, Bing, Yahoo 등 크롤러에 의해 인덱싱되는 것이 허용되지 않는다는 의미입니다. 이것은 관리자가 검색 엔진과...

Parsero v0.75 - Attacking Robots.txt Files

Parsero is a free script written in Python which reads the Robots.txt file of a web server and looks at the Disallow entries. The Disallow entries tell the search engines what directories or files hosted on a web server mustn't be indexed. For example, "Disallow: /portal/login" means that the...

[Parsero] Robots.txt audit tool

.PNG Parsero is a free script written in Python which reads the Robots.txt file of a web server and looks at the Disallow entries. The Disallow entries are the URL path of directories or files hosted on a web server which the administrators don't want to be indexed by the crawlers. For example,...