AIセーフティに関する評価観点ガイド「第1.20版」を公開、AIエージェントシステムの普及による新たなリスクに対応 AISI
AIセーフティ・インスティテュート（AISI）は2026年7月7日、AI開発者・提供者向けに「AIセーフティに関する評価観点ガイド（第1.20版）」を公表しました。今回の改訂は、急速に普及する「AIエージェントシステム」特有のリスクに対応するもので、既存の評価観点を拡充するとともに、AIエージェント特有の評価観点として新たに「観測と制御」が追加されました。
AIエージェントは、大規模言語モデル（LLM）などを基盤に自律的な「知覚・判断・実行」を繰り返します。そのため、連続的な推論による目標からの逸脱や、複数エージェント間の連携に伴う脆弱性の連鎖など、従来のLLMでは想定しにくかったリスクが顕在化しています。
新設されたAIエージェント向けの評価観点「観測と制御」は、「自律的な挙動」と「外部環境との相互作用」の2項目で構成されます。
まず、自律的な挙動では、エンドユーザーの意図しない目標改ざん、自己増殖、権限奪取、信頼操作などのリスクを防ぐため、高リスクなタスクの検知機能や異常時の人間による介入・停止機構を要求します。
次に、外部環境との相互作用では、非表示通信による隠蔽、エージェント間の暴走、物理装置（ロボットなど）の誤操作による身体的危害を防ぐため、外部ツールの利用履歴の監視や即時停止措置の確保を評価対象とします。
LLMシステムを想定していた既存の評価観点もアップデートされました。対話文脈に応じた有害情報の制御、多段階推論時の誤り増幅防止、エコーチェンバー現象の回避に加え、ユーザーの情緒的依存・擬人化への対策、最小権限の原則に基づくプロンプトインジェクション検知、ハルシネーション観測時のエスカレーション体制構築などが盛り込まれました。
評価観点の刷新とともに、評価手法自体のレベルアップも必要です。従来の「目に見える範囲のみを制御する」手法では、システムが未知の領域へ介入するリスクを防げません。実環境で緊急停止機構が動くかをテストする「技術的評価」と、経営層（事業執行責任者）が自律性の許容水準や責任所在をあらかじめ定義する「マネジメント的評価」（ガバナンス）の双方が求められています。
