AIシステム特有のリスクに対応したインシデントレスポンス・アプローチブックを公表 AISI
AIセーフティ・インスティテュート（AISI）は1月9日、AIシステムにおけるインシデント対応の新たな枠組みを示した「AI-IRS AIインシデントレスポンス・アプローチブック」を公表しました。同文書は、AI特有のリスクに対応し、インシデント発生時の被害を最小化することで事業活動の継続を支援することを目的としたものです。組織や社会がAIシステムの整備・運用を進める際の指針として提示されました。
同文書が策定された背景には、AIが意思決定や業務効率化など事業の中核として活用され始めている現状があります。AIシステムは「ブラックボックス性（処理過程が不透明）」や「自律性（人の介入なく学習・判断・行動する）」といった性質を持つため、従来の情報システムのようにリスクを事前に特定して防ぐ「予防的統制」だけでは対応が困難であると指摘しています。そのため、「AIインシデントは必ず発生する」という前提に立ち、発生時の影響を最小化する「発見的統制」の強化が不可欠であると訴えています。
AI-IRS（AI Incident Response System）は、従来の情報システムにおけるインシデントレスポンスの枠組み（NIST SP800-61 Rev.3）をベースとしつつ、AI特有の動的リスクに対応するために内部状態を把握できる、測る能力としての「観測性」と封じ込めなど抑える能力としての「制御性」という2つの評価軸を中心に据えています。この評価軸を基にシステムを評価することで、対応の抜け漏れを防ぐことを目的としています。
「観測性」は、AIの判断根拠や内部状態、データの流れをリアルタイムで把握できる「測る能力」を指します。一方、「制御性」は、AIの自律的な挙動に対し、状況に合わせて影響を最小限にとどめる「抑える能力」を示します。同文書では、この2軸を用いてシステムのインシデントレスポンス能力を4つの象限（非管理状態、制御不足状態、観測不足状態、理想状態）に分類しています。
4つの象限のうち、「非管理状態」とは、AIの挙動について観測も制御もできない最も危険な状態と位置付けています。他方、「理想状態」とはAIの挙動を把握かつ制御できる状態です。理想状態に至る途中の段階として、AIの内部状態は見えているものの介入手段がない「制御不足状態」と、停止などの制御は可能だが原因が特定できない「観測不足状態」の2つを定義しています。前者は封じ込め失敗のリスクがあり、後者はシステム全停止などの過剰な対応につながるリスクがあると指摘しています。
また、具体的なユースケースとして「RAG（Retrieval-Augmented Generation、検索拡張生成）」や「AIエージェント」における課題分析も行われています。例えばRAGにおいては、参照データの汚染や検索APIの信頼性が担保されないリスクがあり、インシデント発生時に原因となったデータソースのみを切り離すといった局所的な制御が求められるとしています。
同様にAIエージェントにおいても、自律的な多段処理の中で、どの判断やどの外部サービスが誤動作を引き起こしたかを特定し、エージェント全体を停止させることなく異常箇所のみを封じ込める必要性が示されました。AI-IRSの導入によりインシデントの発生箇所を特定し、迅速な対応が可能になるとして、組織や社会による活用を求めています。
