hakrawler

Hakrawler URLとJavaScriptファイルの位置を収集するための高速なGo言語製ウェブクローラーです。基本的には、素晴らしいGocollyライブラリのシンプルな実装です。 使用例 単一URL: echo https://google.com | hakrawler 複数URL: cat urls.txt | hakrawler 標準入力の各行に対して5秒のタイムアウト: cat urls.txt | hakrawler -timeout 5 すべてのリクエストをプロキシ経由で送信: cat urls.txt | hakrawler -proxy...