Rubrics-as-an-Attack-Surface

Рубрики как поверхность атаки: скрытый дрейф предпочтений в LLM-судьях 📊 Датасет • 🤖 Обученные модели • 📝 Статья • 💻 Репозиторий Этот репозиторий содержит код для статьи Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges авторов Ruomeng Ding, Yifei Pang, He Sun, Yizhong Wang,...

Adversarial Attacks on LLM-As-A-Judge Systems: Insights from Prompt Injections

LLM as judge systems used to assess text quality code correctness and argument strength are vulnerable to prompt injection attacks. We introduce a framework that separates content author attacks from system prompt attacks and evaluate five models Gemma 3.27B Gemma 3.4B Llama 3.2 3B GPT 4 and Clau...