cve-bench

CVE-Bench 実世界のセキュリティ脆弱性の修正においてLLMエージェントを評価するためのベンチマークです。エージェントはサンドボックス化されたDockerコンテナ内で実行され、メンテナのセキュリティテストスイートに基づいてスコアリングされます。 要件 Python 3.12+ Docker 環境変数に OPENAIAPIKEY、ANTHROPICAPIKEY、POOLSIDEAPIKEY のいずれかを設定（または .env ファイルを使用） 依存関係のインストール: pip install poetry poetry install タスク構造 各タスクは tasks/CVE-ID...