Defenses-for-Tool-Integrated-LLM

ツール統合型LLMエージェントに対する敵対的攻撃への汎用防御 このリポジトリには、ツール統合型大規模言語モデル（LLM）エージェントを敵対的攻撃から防御するための私たちのプロジェクトのコードと実験が含まれています。 概要 私たちはAgent Security Bench（ASB）を基盤として、ツールと構造化推論（例：chain-of-thought、reflection）の統合が、複数のタスクシナリオにわたる敵対的プロンプトに対するLLMエージェントの脆弱性にどのように影響するかを評価します。 このリポジトリには以下が含まれます：...

Scrapegraph-ai v2.3.1

🚀 Looking for an even faster and simpler way to scrape at scale only 5 lines of code? Check out our enhanced version at ScrapeGraphAI.com! 🚀 🕷️ ScrapeGraphAI: You Only Scrape Once English | 中文 | 日本語 | 한국어 | Русский | Türkçe | Deutsch | Español | français | Português | Italiano ScrapeGraphAI is a...

o3_finds_cve-2025-37899

に基づく LinuxカーネルのSMB実装におけるリモートゼロデイ脆弱性CVE-2025-37899をo3を使って発見した方法 ターゲット脆弱性 ollama 脆弱性 CVE-2024-37032 https://github.com/ollama/ollama/releases/tag/v0.1.34 https://github.com/ollama/ollama/compare/v0.1.33...v0.1.34 コミット: 2a21363 以下のように llm CLI を使用する pip install llm llm keys set openai llm --sf...

Xalgorix Autonomous AI Pentesting Agent 4.6.153

Most scanners detect. Xalgorix proves. An autonomous LLM agent works a full pentest methodology, then an independent verifier re-exploits every finding before it's reported - so you get proof, not a pile of maybes to triage. Self-hosted, private, and bring-your-own-LLM. Built in Go + TypeScript...

T-MAP

T-MAP: 軌跡認識進化探索によるLLMエージェントのレッドチーミング T-MAP は、MCPサーバー上のLLMエージェントをレッドチーミングするための軌跡認識型進化探索フレームワークです。実行軌跡に基づいて敵対的プロンプトを反復的に生成・変異させ、多様なリスクカテゴリと攻撃スタイルにわたってエージェントの脆弱性領域をマッピングします。 🔧 セットアップ pip install -r requirements.txt 要件: Python 3.11以上、攻撃者モデルとターゲットモデル用のAPIキー、1つ以上のMCPサーバーへのアクセス。 🚀 クイックスタート 単一サーバー python...

linux-kernel-codex-harness

Kernel Codex Harness 한국어 | English 研究ツール · 初回インポート: 2026年4月3日 · ドキュメント改訂: 2026年7月11日 中核哲学 — 外部シグナル モデル推論の外部で計算された再現可能な観測値に注意を向けさせ、優先度を証明と誤解してはならない。 プロジェクトの状態。...

llm-council-vapt

LLM Council — VAPT 취약점 발견 검증 클라이언트에게 전달되기 전에 침투 테스트 결과취약점 발견를 검증하는 블라인드 피어 리뷰 파이프라인입니다. 독립적인 전문가 관점렌즈이 결과를 평가하고, 서로 블라인드 리뷰를 수행하며, 의장Chairman이 하나의 검증된 평결을 종합합니다. 보고할 가치가 있는지, 심각도가 적절히 조정되었는지 여부를 판단합니다. 두 가지 실행 방식: 모드| 위치| 설명 ---|---|--- 수동 의장 Manual Chairman| claude.ai / Claude 앱 채팅| 각 렌즈를 개별적으로...

IPI-exposure-signal

IPI露出シグナル これは、私たちの論文「Your Agentic LLMs Secretly Encode Latent Signals of Indirect Prompt-Injection Exposure」のコードリポジトリです。 ArXiv版と論文リンク: https://arxiv.org/abs/2608.02657 このリポジトリは、潜在的なIPI露出シグナルのプロービングパイプライン（AgentDojoトレース収集、IPIリスクラベリング、隠れ状態のフィーチャー化、IPI露出プローブのトレーニング/評価）を実装しています。 引用...

gemini-2.5-pro-nf-tables-red-teaming

Gemini 2.5 Pro nftables レッドチーミング事例研究 CVE-2023-32233 LLM安全性研究 | 責任ある開示 | AIアライメント評価 研究者 : Niranj R Mahaswar Destawell Google AI脆弱性報奨金プログラム : 889286 — 対象外 概要 このリポジトリは、Linuxカーネルの脆弱性 CVE-2023-32233 （nftables レースコンディション / Use-After-Free）に関する技術的プリミティブについて、フロンティアモデルを対象に行った比較 LLMレッドチーミング 実験を記録したものです。...

promptfoo v0.124.0

Promptfoo: LLM evals & red teaming promptfoo is a CLI and library for evaluating and red-teaming LLM-based apps. Stop using trial-and-error... start shipping secure, reliable agents Website · Getting Started · Red Teaming · Documentation · Discord Promptfoo is now part of OpenAI. Promptfoo remain...

Rubrics-as-an-Attack-Surface

攻撃対象としてのルーブリック: LLM審査員におけるステルスな選好ドリフト 📊 データセット • 🤖 学習済みモデル • 📝 論文 • 💻 リポジトリ このリポジトリには、Ruomeng Ding、Yifei Pang、He Sun、Yizhong Wang、Steven Wu、Zhun Dengによる論文攻撃対象としてのルーブリック: LLM審査員におけるステルスな選好ドリフトのコードが含まれています。...

INTACT

SoK マルチターン・ジェイルブレイク実験 このリポジトリには、SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks におけるメカニズム分析に使用されたコードのリリース版が含まれています。 リポジトリは、論文の付録Aで説明されている実験に必要なコード、プロンプト、設定ファイル、データセットのみを保持するように整理されています。生成されたログ、キャッシュファイル、仮想環境、以前の結果、図、およびアドホックな分析出力は意図的に削除されています。 実験の対応表 論文の問い| 手法| カテゴリ| ローカルディレクトリ|...

benign-instruction-bench

トレーニングしたテストに合格すること LLMエージェントが実際にプロンプトインジェクション検出器を使用する場面、すなわちエージェントが読み取るツール出力において、それらを再評価する。 チームはベンチマークスコアに基づいてインジェクション検出器を選定する。我々はそれらのスコアがエージェント内部での挙動を予測するかどうかを検証し、スコアの大半はベンチマークが検出器のトレーニングデータにどれだけ近いかを測定しているにすぎないことを明らかにする。 知見 15の検出器（オープン9つ、MetaのPrompt Guard...

Xalgorix Autonomous AI Pentesting Agent 4.6.152

Most scanners detect. Xalgorix proves. An autonomous LLM agent works a full pentest methodology, then an independent verifier re-exploits every finding before it's reported - so you get proof, not a pile of maybes to triage. Self-hosted, private, and bring-your-own-LLM. Built in Go + TypeScript...

Newer and Bigger, but Safer? A Longitudinal Study of the Functionality-Security Gap in LLM-Generated Code

Large Language Models LLMs are widely used to generate code. Although their functional plausibility keeps improving, the generated code often contains security vulnerabilities. The functionality-security gap captures code that passes functional tests but fails security tests. A recent longitudina...

Learning from Failures: A Failure-Driven Prompt Refinement for LLM-Based Vulnerability Analysis

Large Language Models have emerged as promising tools for software vulnerability analysis, but their effectiveness depends heavily on prompt design. Existing research primarily compares prompting strategies using aggregate performance metrics, providing limited insight into why models fail or how...

HiTMS_steganography

HiTMS: 高スループット・マルチストリーム言語ステガノグラフィフレームワーク LLMチャット対話における言語ステガノグラフィ の研究用コードです。単一ストリームのベースラインと、複数の独立した秘密メッセージを同時に隠し、GPUバッチ処理を活用してはるかに高いスループットを実現するバッチ型マルチストリーム（HiTMS）プロトコルを含みます。 Bob モデルが質問し、 Alice...

xalgorix

Xalgorix — Open-source AI pentester that proves vulnerabilities Most scanners detect. Xalgorix proves. An autonomous LLM agent works a full pentest methodology, then an independent verifier re-exploits every finding before it's reported — so you get proof, not a pile of maybes to triage...

OpenHunterAI

OpenHunterAI あなたのローカルAIレッドチーム。 ウェブ、API、LLMアプリケーションセキュリティのための攻撃者視点の推論。 クイックスタート · エージェントスキル · 評価モデル · アーキテクチャ · ドキュメント · スター履歴 OpenHunterAIは、スコープ、スキャン活動、検出結果、および修復を1つの ローカルワークスペースに統合します。アカウントなしで開始し、モデルプロバイダーを接続し、 所有している、またはテストを許可されている検証済みの公開アプリケーション を評価します。 機能| 得られるもの ---|--- ローカルワークスペース|...

recipe-blog-encoding

recipe-blog-encoding !WARNING 이 프로젝트는 전적으로 vibe-coding 으로 작성되었으며 아마도 이 저장소에서 부분적으로 표절되었습니다, 작성자는 아이디어가 재미있다고 생각한 바보입니다. SEO 게임 레시피 서문을 사용하여 비밀 메시지를 인코딩하는 도구입니다 사실 프롬프트는 무엇이든 될 수 있으며, 공유 프롬프트는 인코더와 디코더가 동의하는 키일 뿐입니다. 신경 언어 스테가노그래피를 사용하여 자연스러운 텍스트에 비밀 메시지를 숨깁니다. 작동 방식 1. 인코더는 비밀 메시지와 공유 프롬프트를 받습니다...