かつてAIは一部の先進的な企業、大学、研究機関などで研究開発が進められる遠い存在でしたが、近年の急速な技術革新によってAIは多くの人にとって身近で利用しやすい技術へと変化しています。

AIをビジネスに活用する、あるいは個人が日常的に利用することが当たり前となり、AIを組み込んだ製品を開発する企業も増えています。その一方、こうしたAIを狙ったサイバー攻撃、あるいはAIをサイバー攻撃の手段とする「敵対的AI」が警戒されるようになっています。

そこで今回は、AIとサイバー攻撃の関係性について解説します。

懸念されるAIを狙ったサイバー攻撃手法とは

多くの人々が利用する身近な技術となったAIは、同時に犯罪者からも狙われることになります。もちろん、研究者たちにとってもAIのセキュリティは議論の対象であり、さまざまな学術的な論文も発表されています。近年、Google、Microsoft、OpenAIなどAIの研究開発を手掛けている先進的な組織は、AIに対する「レッドチーム (*1)」を立ち上げるなどセキュリティ対策にも力を入れています。

*1：レッドチームとは、サーバー攻撃への攻撃耐性を評価するため、実際に外部から対象に対して疑似的な攻撃を実行するチームです。なお、レッドチームによる疑似攻撃をレッドチーム演習と呼ぶこともあります。

AIに対する攻撃にはさまざまな手法があると言われていますが、代表的なものをいくつか紹介します。

・プロンプトインジェクション

　AIのプロンプトに悪意のある情報を入力 (挿入)し、AIが生成するデータに影響を与える攻撃です。偏りのある情報、不正確な情報、あるいは攻撃的な情報が生成されてしまう可能性があります。

・敵対的サンプル (Adversarial Examples)

人の目では認識できないレベルで加工された(ノイズのある)画像データを学習させるなどの手法で、AIの精度を劣化させる攻撃です。AIの認識精度が劣化することで、監視カメラに認識されないようにする、あるいは他人になりすますことができるようになります。

・データポイズニング (データ汚染)

最近、機械学習用のさまざまなデータセットが公開されています。こうしたデータセットの中に汚染されたデータ (ポイズンデータ)を紛れ込ませることで、AIの認識精度を劣化させたり、間違ったテキストや画像などを生成したりするようになります。

・AIシステムに対する直接的なサイバー攻撃

AIのシステムに不正侵入し、コードを書き替える、マルウェアに感染させる、バックドアを設けて外部から不正アクセスを可能にするといった攻撃です。こうしたサイバー攻撃はAIの学習に影響を与えるだけでなく、AIから情報を盗み出すことも可能にします。また、AIのモデルそのものを外部に流出させ、動きを模倣するといった可能性もあります。

敵対的AIによるサイバー攻撃とAIを活用したセキュリティ機能が対立する未来

AIが誰にとっても身近な存在になるのであれば、サイバー犯罪者にとっても身近な技術です。当然のことながら、今後はサイバー攻撃にもAIを活用することが当たり前になっていくでしょう。このようにサイバー攻撃に利用されるAIを「敵対的AI」と呼ぶこともあります。

膨大な情報を収集して分析して効果的な (攻撃が成功しやすい) 攻撃対象の選定、より精度の高いフィッシングメールの文案生成、使用されている可能性の高いクレデンシャル情報の生成、他のAIを汚染するためのポイズンデータ生成などAIを悪用するユースケースを考えればキリがありません。

もちろん敵対的AIから守るセキュリティ機能にも、AIは活用されています。サイバー攻撃の振る舞いを高い精度で迅速に検知する、システムの脆弱性診断、あるいはAI自身がレッドチームの一員として他のAIに疑似的な攻撃を仕掛けることもあります。今後は敵対的AIとAIを駆使したセキュリティ機能が対立し合うことも珍しくなくなっていくでしょう。

信頼できるAIとは

最近、「Trustworthy (信頼できる) AI」という言葉が聞かれるようになっています。まだ明確な基準があるとは言い難い状況ではありますが、AIを「Explainability (説明可能性)」「Fairness (公平性)」「Privacy (プライバシー)」「Robustness (頑健性)」の観点から評価する考え方です。

今後、多くの人が直接的/間接的にAI技術を活用することになります。ビジネスで活用する、スマート家電に組み込まれた機能を利用する、あるいは銀行などの金融機関や行政サービスでもAIの活用が進んでいます。

しかし、将来的には「そのAIは本当に信頼できるのか？」や「AIの生成した情報は正しいのか？」といった視点でAIを評価する必要に迫られるようになっていくでしょう。特に組織がAI利用したサービスを提供する場合、自分たちが提供するサービスのバックエンドで動いているAIが信頼できることを保証する必要に迫られるようになるかもしれません。

まとめ

・AIが身近な技術になることで、AIを狙ったサイバー攻撃も増えることが予想される
・敵対的AIとAIを活用したセキュリティ機能が対立する未来が予想される
・今後はTrustworthy (信頼できる) AIを見極める能力が求められるようになる