hakrawler

Hakrawler 用于收集URL和JavaScript文件位置的高速Go语言网络爬虫。这基本上是优秀的Gocolly库的一个简单实现。 使用示例 单个URL： echo https://google.com | hakrawler 多个URL： cat urls.txt | hakrawler 每行标准输入的超时时间设为5秒： cat urls.txt | hakrawler -timeout 5 通过代理发送所有请求： cat urls.txt | hakrawler -proxy http://localhost:8080 包含子域名： echo https://google.co...