dcrawl

dcrawl dcrawl ist ein einfacher, aber intelligenter, mehrthreaded Webcrawler zum zufälligen Sammeln riesiger Listen eindeutiger Domainnamen. Wie funktioniert es? dcrawl nimmt eine Site-URL als Eingabe und erkennt alle Links im Body der Site. Jeder gefundene Link wird in die Warteschlange...