crawlergo

crawlergo A powerful browser crawler for web vulnerability scanners English Document | 中文文档 crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK，自动进行表单填充并提交，配合智能的JS事件触发，尽可能的收集网站暴露出的入口。内置URL去重模块，过滤掉了大量伪静态URL，对于大型网站仍保持较快的解析与抓取速度，最后得到高质量的请求结果集合。 crawlergo 目前支持以下特性： 原生浏览器环境，协程池调度任务...