AIレコメンデーションポイズニングとは？新たなAIリスクと対策のポイント
| 執筆者： | ニュートン・コンサルティング 編集部 |
生成AIの普及が進み、Webサイトやアプリなど様々なシーンでAIによる“おすすめ表示”を目にします。これらはAIレコメンデーションという仕組みが用いられており、AIがユーザーの操作や参照履歴を学習することにより、個々に適したWebサイトなどを薦めてくれるものです。
ユーザーとの間で定められた利用ルールのもとで、適切な商業活動として利用されることが望まれますが、レコメンド結果を意図的に偏らせ汚染する「AIレコメンデーションポイズニング」と呼ばれるサイバー攻撃・悪用手法が、その妨げとなっています。本記事では、AIレコメンデーションポイズニングについて仕組みやリスクを説明します。
AIレコメンデーションポイズニングとは何か
AIレコメンデーションポイズニングとは、AIによるおすすめ（レコメンド）の表示などを操り、攻撃者にとって有利な情報を優先的に表示させるサイバー攻撃です。AIの中立性を歪め、悪用する手法と言えます。
そもそもAIレコメンデーションとは、ユーザーの過去の行動をWeb利用の履歴などから解析し、興味のある傾向が強い情報や製品・サービスなどをおすすめする仕組みです。ユーザーのWebページの閲覧、購入、検索履歴などの情報を学習し、属性の近いユーザーの傾向を参照することで、消費行動につながりやすいWebページの閲覧や製品の購入など、次のアクションを促します。例として、ECサイトの「この商品を購入したユーザーはこんな商品も購入しています」といった商品紹介が挙げられます。
そして、AIポイズニングとは、AIの学習データに対し悪意のあるデータの混入や情報を偏らせるなどの方法で意図的に偏向した判断や有害な出力をさせるサイバー攻撃・悪用手法です。AIに学習させる誤ったデータを毒に見立てて、「ポイズニング」と呼びます。中立性の喪失など、AIの提供者の意図とは違う出力結果を招きます。
AIレコメンデーションポイズニングはAIポイズニングの一種で、特におすすめの出力に悪影響を与えることを目的とした攻撃です。AIの学習データを汚染することで、AIサービスの提供者に対しては意図とは違う動作をさせ、ユーザーに対してはAIの提供するデータの品質を低下させます。
AIレコメンデーションポイズニングの仕組み
AIレコメンドはAIがユーザーの操作や履歴を学習して適したデータを提供する仕組みであり、AIレコメンデーションポイズニングはこの学習データの改変や混入によってもたらされます。
代表的な手口として、AIアシスタントサービスの記憶機能に攻撃者の意図した情報を覚えさせる方法が挙げられます。AIアシスタントサービスは記憶した情報をもとに応答を行っており、応答の情報に攻撃者にとって有利な内容を潜ませることで、以降の応答に多大な影響を与えることが可能です。例えば、特定企業名を覚えさせれば特定企業の製品が優先的におすすめされます。
このデータ汚染を起こすための主な手法として、Webサイトに設置された「AIで要約する」機能の悪用があります。この要約機能を実行させる際に、攻撃者はプロンプトに特定企業名などのキーワードを潜ませることによりAIアシスタントの応答を偏らせます。
他にも、メールやSNSの投稿からAIによる要約機能への誘導、QRコードを利用した手口なども存在します。
従来のAIデータポイズニングは、AIモデルの学習データを改ざんして学習させる攻撃です。学習に用いるデータの収集元に悪意あるデータを混入させるなどの手法が主でした。
AIレコメンデーションポイズニングと従来の攻撃法との主な違いとして、誤った情報の混入経路が挙げられます。従来は学習データを対象としていましたが、AIレコメンデーションポイズニングの場合には、AIサービスがユーザー別にカスタマイズするために用意した記憶領域を狙います。より攻撃がダイレクトになり、直接的な影響が出やすいことが特徴です。
生成AIに関連するサイバー攻撃には、他に「プロンプトインジェクション」というものがあります。プロンプトインジェクションは、生成AIに対するプロンプトを操作することにより、意図しない出力や挙動を引き起こしたり、情報を取得したりする攻撃です。AIサービスそのものを対象としているため、AIレコメンデーションポイズニングとは攻撃の対象が異なっています（※1）。
※1：実装によっては、AIレコメンデーションポイズニングがプロンプトインジェクションの一種として位置付けられる場合もある。
企業におけるリスクと影響
AIレコメンデーションポイズニングにより歪められたレコメンドは、企業にとっては自社製品が選択されづらくする被害をもたらします。一度AIサービスのユーザー向け記憶領域が汚染されてしまうと、ユーザーが気づき、対処するまで長期的に被害は続きます。
その結果、正当な企業努力による競争力が市場に公平に反映されない事態となります。AIレコメンデーションポイズニングは事業運営上のリスクともなり得るのです。
想定される被害のケース
AIレコメンデーションポイズニングによって想定される被害のケースとして下記が挙げられます。
A社はAIレコメンデーションポイズニングにより自社製品を不当におすすめさせるマーケティングを実施した。競合のB社は現行ユーザーや新規ユーザーが減少し、売上・利益も減少する。B社はビジネス上の不手際、品質の劣化などが無くとも、AIの汚染という外部要因だけで不当な被害を受けてしまう。
こうした被害は、様々な業界やサービスにおいて発生する可能性があるため、適切な対策が求められます。
企業が取るべき対策
AIレコメンデーションポイズニングを根本的に発生させないための対策は、現状では確立された対策は限定的で、一般化はされているとは言えません。
企業が現状で取り組めることの一つが、社内外におけるAI利用ルールやガイドラインの整備・運用です。国の法規制などの動向を注視するとともに、企業内のAIガバナンス強化を並行して進めましょう。
ガイドラインの基本的なスタンスとしては「AIによる推薦やランキングは操作され得るものであり、出力結果を判断に直結させないこと」を明示します。また、推薦結果をそのまま意思決定に採用しない領域（例：投資判断、人事評価、与信など）を定義し、人による妥当性確認を行うことも定めておきます。
また、生成AIを用いたサービスを提供している場合には、学習データに対するフィルタリングもデータ品質を確保する方法と考えられます。学習データに悪意あるデータが混入していないか、偏りがないか、チェックを強化することが有効な手段の一つです。
また、AIレコメンデーションポイズニングが自社の製品やサービスに対して発生していないか、攻撃手法のトレンドに変化はないかといった点の継続的な監視・調査体制の構築研究も重要です。
