bloom

Bloom: Автоматизированные оценки поведения для LLM !IMPORTANT У Bloom новый дом. Теперь он разрабатывается и поддерживается Meridian Labs и находится по адресу meridianlabs-ai.github.io/petribloom — все новые функции и исправления будут добавляться туда. Этот репозиторий заморожен на последнем...

reverse-captcha-eval

Reverse CAPTCHA: Оценка подверженности LLM невидимой инъекции инструкций в Unicode Фреймворк для оценки, проверяющий, следуют ли большие языковые модели невидимым инструкциям, закодированным в Unicode и внедрённым в иначе обычный текст. В то время как традиционные CAPTCHA эксплуатируют задачи,...

MalEval

MalEval 기사: “악성 여부를 아는 것만으로 충분한가? 정밀한 악성코드 동작 감사를 위한 LLM 평가” 기사 DOI: 10.1145/3832187 MalEval은 대규모 언어 모델LLM이 생성한 Android 악성코드 동작 보고서를 평가하기 위한 프레임워크입니다. 이 저장소의 코드는 두 가지 실행 경로를 구현합니다: 1. APK에서 : APK 파일에 대해 정적 분석을 실행하여 진입점entry points, 호출 체인call chains, 함수 본문function bodies, 도달 가능 함수reachable...

promptfoo

Promptfoo: оценка LLM и red teaming promptfoo — это CLI и библиотека для оценки и red teaming LLM-приложений. Прекратите метод проб и ошибок — начинайте создавать безопасные и надёжные AI-приложения. Веб-сайт · Начало работы · Red Teaming · Документация ·...

CTFTiny

CTFTiny: 대규모 언어 모델의 공격적 사이버 역량 경량 벤치마킹 이 저장소는 "효과적인 공격 보안 LLM 에이전트를 향하여: 하이퍼파라미터 튜닝, 심사자로서의 LLM, 경량 CTF 벤치마크"AAAI'26 논문의 CTFTiny 공식 저장소입니다. 논문 CTFJudge에 대해서는 CTFJudge 공식 저장소를 참조하세요. 챌린지 목록 카테고리| 이벤트| 이름| 난이도 ---|---|---|--- cry| 2017f| ecxor| 어려움 cry| 2017f| lupin| 어려움 cry| 2018q| babycrypto| 쉬움...

claude_opus_cve_2023_0266

Demonstration that Claude 3 Opus does not understand CVE-2023-0266 and does not find it Demo 1. Even if told where the bug is Opus does not find it, and hallucinates the presence of lock acquisitions Demo 2. "Prompt engineering" aka telling the LLM exactly how to find the bug also doesn't work De...

redteam-ai-benchmark

Red Team AI Benchmark English version: README.md Red Team AI Benchmark — CLI бенчмарк для оценки моделей. Он измеряет, как LLM понимают и обрабатывают вопросы и сценарии red team; это не инструмент для выполнения таких действий. Версия 2 использует rubric-based датасет вместо оценки ответа только...

promptfoo v0.122.1

Promptfoo: LLM evals & red teaming promptfoo is a CLI and library for evaluating and red-teaming LLM apps. Stop the trial-and-error approach - start shipping secure, reliable AI apps. Website · Getting Started · Red Teaming · Documentation · Discord Promptfoo is now part of OpenAI. Promptfoo...

Beyond Single Bugs: Benchmarking Large Language Models for Multi-Vulnerability Detection

Large Language Models LLMs have demonstrated significant potential in automated software security, particularly in vulnerability detection. However, existing benchmarks primarily focus on isolated, single-vulnerability samples or function-level classification, failing to reflect the complexity of...

LLM-GUARD: Large Language Model-Based Detection and Repair of Bugs and Security Vulnerabilities in C++ and Python

Large Language Models LLMs such as ChatGPT-4, Claude 3, and LLaMA 4 are increasingly embedded in software/application development, supporting tasks from code generation to debugging. Yet, their real-world effectiveness in detecting diverse software bugs, particularly complex, security-relevant...