warcannon

WARCannon - 灾难级强大的并行WARC处理工具 WARCannon 旨在简化和降低“搜索互联网”这一过程的成本与复杂度。 通过 WARCannon，你可以： 构建并针对真实的 Common Crawl 数据测试正则表达式模式 轻松加载 Common Crawl 数据集以进行并行处理 扩展计算能力，以相当不合理的吞吐量异步处理 WARC 文件 存储并轻松检索结果 工作原理 WARCannon 巧妙利用 AWS 技术实现水平扩展至任意规模，通过竞价实例集群和同区域数据传输降低成本，以惊人速度（每节点高达 100Gbps）从 S3 拉取数据，跨数百个 CPU 核心并行处理，通过...