hakrawler

Hakrawler 用于收集URL和JavaScript文件位置的高速Go语言网络爬虫。这基本上是优秀的Gocolly库的一个简单实现。 使用示例 单个URL： root@kitploit: echo https://google.com | hakrawler 多个URL： root@kitploit: cat urls.txt | hakrawler 每行标准输入的超时时间设为5秒： root@kitploit: cat urls.txt | hakrawler -timeout 5 通过代理发送所有请求： root@kitploit: cat urls.txt | hakrawle...