ache

ACHE 聚焦爬虫 ACHE 是一个聚焦网络爬虫。它收集满足特定条件的网页，例如属于某域名的页面或包含用户指定模式的页面。 ACHE 与通用爬虫的区别在于，它使用 页面分类器 来区分给定领域中的相关页面和不相关页面。页面分类器可以简单到一条正则表达式（例如匹配包含特定单词的每个页面），也可以是基于机器学习的分类模型。 ACHE 还能自动学习如何对链接进行优先级排序，以便高效定位相关内容，同时避免抓取不相关内容。 ACHE 支持许多特性，例如： 对固定网站列表进行常规爬取 通过自动链接优先级排序发现并爬取新的相关网站 配置不同类型的页面分类器（机器学习、正则表达式等）...