FLAWED

F ix L ike A rtifacts w ith E mbedded D efects AI 에이전트가 취약점을 얼마나 잘 패치하는지 측정하기 위한 연구 하네스. 빠른 시작 · 데이터셋 · 문서 · 보안 모델 · 기여하기 FLAWED는 오픈소스 프로젝트를 알려진 취약 커밋 시점으로 체크아웃하고, AI 에이전트에게 버그 설명을 전달한 뒤 패치를 작성하도록 요청합니다. 에이전트는 실제 업스트림 수정 사항을 절대 볼 수 없습니다. 그런 다음 모든 패치가 격리된 컨테이너에서 검증, 감사, 채점되므로, 모델이 버그를 수정했는지뿐만 아니라 ...