socbench

socbench 将前沿推理LLM作为SOC分析师 在原始NetFlow数据上进行基准测试。 socbench 将前沿推理模型作为SOC分析师进行基准测试： 每个模型运行一个有界的多轮代理循环，针对确定性的、预索引的NetFlow语料库， 使用角色限定的只读工具、每次调查的固定美元上限， 以及严格的最终答案JSON契约。四种角色（SOC分析师、威胁分析师、对手猎手、检测工程师） 和三种提供商（OpenAI、Anthropic、Google）共享相同的评估单元、评分 视角和消融表面，使得总体数字和 toolsoff / playbooksoff 差值可直接比较。 该仓库是本地优先...