dcrawl

dcrawl dcrawl は、ユニークなドメイン名の巨大なリストをランダムに収集するための、シンプルでありながらスマートなマルチスレッドウェブクローラーです。 動作の仕組み dcrawl は 1 つのサイト URL を入力として受け取り、サイトの本文内のすべての リンクを検出します。見つかった各リンクはキューに追加されます。続けて、キューに入った各リンクも同様にクロールされ、各サイト本文のリンクで見つかったさらに多くの URL に分岐していきます。 スマートクローリング の仕組み： 1 つのホスト名につき、事前に定義された数のリンクのみに分岐します。 1...