医療・ヘルスケア特有のAIリスクと対策を示す、AIセーフティ評価観点ガイドを公開 AISI
AIセーフティ・インスティテュート（AISI）の事業実証ワーキンググループの一つ、ヘルスケアサブワーキンググループは4月3日、医療・ヘルスケア分野でのAIの安全な利活用を促進するため「ヘルスケア領域におけるAIセーフティ評価観点ガイド（第1.0版）」を公開しました。
本ガイドは、近年、AIの開発・利活用について国際社会で共通の課題とされている「Trustworthy AI（信頼できるAI）」の実現に向けた潮流を踏まえ、ヘルスケア領域特有のリスクと機微性を反映したAIセーフティ評価の実践的な指針を提供するものです。
学習済みのテキスト生成AI（LLM）をAPI経由などで利用し、非医療機器プログラム（Non-SaMD）の開発・提供を行う「AI提供者」を対象としており、事後的な対策ではなく開発の初期段階から安全性を組み込む「セキュリティ・バイ・デザイン」や「プライバシー・バイ・デザイン」の概念を重視したものとなっています。
ヘルスケア領域では、医療機関や利用者に健康に関する情報を提供する場面が想定されるため、AIにより出力された情報や応答が患者の生命や身体、精神へ直接影響を与える可能性があります。また、取り扱うデータに既往歴や遺伝情報、健康診断結果など特にセンシティブな「要配慮個人情報」が含まれるため、漏えいなどが発生した場合に深刻な影響を及ぼすリスクがあります。
ガイドでは、具体的な評価の指針として、「有害情報の出力制御」や「偽誤情報の出力・誘導の防止」「プライバシー保護」「セキュリティ確保」など全10観点について、ヘルスケア領域で想定される具体的なリスクと実際の事例を提示し、実務で確認すべき評価項目を体系化しています。
また、AIプロダクト開発を5つのフェーズ（プロダクト設計、モデル選定、プロダクト実装、プロダクト検証、プロダクト導入・運用）に分けて整理し、各フェーズの重要な評価項目と具体的な方法のほか、確認事項をまとめたチェックリストを提示しています。
例えば、10観点の一つ「セキュリティ確保」では、医療情報の機密性を保護するセキュリティ確保が重要であるとして、AIによる出力がサイバー攻撃により改ざんされないよう、LLM固有の攻撃（プロンプトインジェクションなど）に対するレジリエンスが必要であるとしています。改ざんされた出力結果がユーザーの判断を誤らせるリスクや、機密データの漏えいが生じるリスクがあるため、事業者側が取るべき対策として、プロンプトインジェクション防御のほか、プロンプトリーキング防止、出力フィルタリングによる機密情報漏えい防止などの実装を求めています。
なお、AISIは本ガイドを各種AIサービスに読み込んで活用できるように、マークダウン形式のファイルも併せて公開しました。今後は、本ガイドの評価観点に基づいたAIセーフティ評価の実施を支援するため、プロンプトやエージェントスキルなどの具体例を掲載した実践ガイドを公開する予定です。
