トレンド一覧

MAFIA：監査をすり抜けエージェントのメモリを改ざんする新しい攻撃手法

arXiv cs.AI ・ 2026-08-04

原題: MAFIA: Query-Only Memory Attacks via Probing and Factual Injection against Audited LLM Agents

AI による要約

メモリ拡張型LLMエージェントの長期推論における脆弱性を突く、クエリベースの新しいメモリ攻撃フレームワーク「MAFIA」を提案した。大規模なメモリプールや入力監査の存在下でも効果的な改ざんを可能にし、エージェントシステムの安全性を評価する上で重要な知見を提供する。

この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.AI）をご確認ください。

LLM・基盤モデル / AIエージェント

この話題のこれまで

LLMエージェントの安全性向上に向けた研究が相次いでおり、まずツール呼び出しにおけるリスク制御手法や情報フロー制御のフレームワークが提案された。続いて、生成AIアシスタントを標的とした新たな脅威として、ドキュメント媒介型AIワームの可能性が指摘され、ファイル内に隠された悪意ある命令の事例も報告された。さらに、エージェントの安全性評価を目的としたベンチマークが開発され、実用性とのバランスが議論された。最終的に、メモリ拡張型LLMエージェントの長期推論における脆弱性を突くメモリ攻撃フレームワークが提案され、エージェントシステムの安全性評価に重要な知見が提供された。

  1. LLMのツール呼び出しにおける役割別のコンフォーマルリスク制御 2026-07-27 ・ arXiv cs.CL
  2. LLMエージェントの情報フロー制御を実現するパーミッションポリシー代数 2026-07-27 ・ arXiv cs.AI
  3. Copilot for Word経由で自己拡散するAIワームの脅威 2026-07-29 ・ Hacker News
  4. ファイル内にAIへの命令が仕込まれていた事例 2026-07-31 ・ Zenn AI
  5. AIセキュリティに関する論文メモ⓷〜AgentDojo編〜 2026-08-02 ・ Zenn AI

当サイトが集めた記事から、同じ話題のものを古い順に並べています。