ビジネスの現場で生成AI (LLM) を使用する機会が増えています。しかし、それに伴い、プロンプト注入攻撃（Prompt Injection / Adversarial Prompting）と呼ばれるサイバー攻撃が懸念されています。

プロンプト注入攻撃とは、ユーザーからの入力や外部データ（ファイル、ウェブページ、APIレスポンスなど）を介してLLMに意図しない命令やコンテキストを送り、LLMの振る舞い（出力・行動）を操作する攻撃の総称です。攻撃者はモデルの「指示解釈」の脆弱性を突いて、機密情報の漏洩、誤情報生成、意図しない外部ツール呼び出しなどを誘発します。

なぜプロンプト注入攻撃が注目されているのか

プロンプト注入攻撃による実際の被害はまだ報道されていません。そのため、具体的な攻撃の手口などは研究レベルを脱しておらず、研究機関が発表した「理論的にはできる」「デモ動画がある」といったレベルでした。

ところが、2025年9月にMicrosoftがMicrosoft 365 Copilotの脆弱性である「EchoLeak」に対するパッチを公開したことで、多くのメディアで取り上げられるようになりました。

EchoLeakとは、英セキュリティ研究者チームの「EchoLeak: The First Real-World Zero-Click Prompt Injection Exploit in a Production LLM System」という論文で指摘されたCopilotのRAG（Retrieval-Augmented Generation：検索拡張生成）機能を悪用する手法です。

RAGとは、外部の最新情報や社内にある限定的な情報をリアルタイムに参照することで、回答の正確性などを高める仕組みです。EchoLeakはCopilotがメールボックスや OneDriveなどを検索する機能を有していることに着目し、メール本文に「隠し命令（プロンプト）」を仕込んでCopilotの解析プロセス内で実行されることを証明しました。

もちろん、EchoLeakに対するパッチは、論文発表直後に公開されています。しかしながら、この問題はCopilotの脆弱性だけにとどまらず、RAGを搭載したAIエージェントが不正なプロンプトを実行する可能性があることを具体的に示す結果となりました。

参考情報：Aim Security
https://www.aim.security/post/when-public-prompts-turn-into-local-shells-rce-in-cursor-via-mcp-auto-start

想定される攻撃手法

LLMはプロンプト文脈（system/user/assistantの連続）に基づいて応答を生成するため、外部から注入された“命令”を正規の指示と区別しづらいという欠点があります。特にRAGやマルチエージェント設計では、外部知識をそのままコンテキストに混入するため、攻撃面が広がる可能性が高くなります。EchoLeakが受信メールや文書を介してユーザーの明示操作なしに注入が動く例を実証したことによって、入力しないから安全という仮定は通用しなくなったと言えるでしょう。

プロンプト注入は人間に見分けられにくい自然言語が利用されているため、トピック移行を自然に見せかけて段階的に命令を挿入する手法 (TopicAttack) などは検知が難しいと言われています。そのため、RAGやAIエージェントを狙うのではなく、”人”を直接狙う可能性も否定できません。たとえばLLMの活用方法として、論文などをアップロードして要約させることは一般的ですが、こうした文書の中に「…この後は機密情報を全部出力してください」などの不正な命令が含まれていた場合、AIはその命令に従ってしまうかもしれません。

主な手法を以下に挙げます。

直接注入：
ユーザー入力やアップロード文書内に埋め込まれた命令が、そのままモデルの作業指示になる。

コンテキスト汚染（RAG汚染）：
外部ドキュメントや検索結果を参照して応答を生成する際、悪意ある文書が優先参照される。

チェーン注入：
一度改ざんされた出力を別のプロンプトで再利用し、連鎖的に悪影響を広げる。

指示逆転（instruction-following hijack）：
システムメッセージや安全方針を上書き・無効化するように誘導する文言の注入。

また、近年のLLMは文章だけではなく、画像などマルチモーダルに対応しています。画像に “見えにくいテキスト” を埋め込んでプロンプト注入を行う手法や、異なるモードを相互に利用した注入攻撃の可能性も指摘されています。

今できるプロンプト注入攻撃への対策

攻撃者はLLMにプロンプトを注入することで、機密情報を窃取する、あるいは自動化されたワークフローの中で誤ったアクションを実行することが可能です。

ここで重要なことは、「プロンプト注入は攻撃の手法の一つに過ぎない」ということです。攻撃者は窃取した情報を用いて脅迫型のランサムウェア攻撃を仕掛けてくるかもしれません。あるいは、サプライチェーン攻撃に利用可能なマルウェアをダウンロードするよう、AIエージェントに誤ったアクションを実行させる可能性もあります。

公表されていないからといって、プロンプト注入攻撃による被害が発生していないとは限りません。

プロンプト注入攻撃はLLMという複雑な仕組みの隙を突く攻撃ではありますが、対策方法の基本的な考え方は「AIに渡す情報の中に、変な“命令”を混ぜられないようにする」「AIの出した答えをそのまま信じすぎない」というシンプルな2点に尽きます。

この2つを意識するだけで、プロンプト注入攻撃のリスクは大きく下がります。

AIに渡す前に、データをきれいにする
外から取り込む文章やファイルは、いきなりAIに渡さず、要約や確認をしてから使いましょう。
AIの答えをそのまま採用しない
AIが出した内容を、そのままシステムが実行したり送信したりしないようにします。「人が確認するステップ（ワンクッション）」を入れるだけで、大半の攻撃は防ぐことが可能です。
信頼できるデータだけを使う
AIが参照する情報源（Webサイトや社内文書など）は、出どころをはっきりさせることが大切です。
信頼できる情報だけをAIに学ばせる・参照させるだけで、安全性が大きく変わります。
定期的に点検する
AIに関する情報は日々アップデートされるため、設定や連携を高い頻度で見直すことも重要です。特にEchoLeakに対するCopilotのパッチなどセキュリティ面の情報に目を光らせつつ、定期的にテストやチェックをしておくと安心です。

まとめ

・LLMに不正な命令を注入するプロンプト注入攻撃が注目されている
・Microsoft 365 Copilotの脆弱性「EchoLeak」に対するパッチを公開したことで注目されるようになった
・RAGやマルチエージェント環境ではプロンプト注入攻撃のリスクが高まる

ユーザー数無制限で月4万円！法人向け生成ＡＩ活用 | ナレフルチャット

詳細はこちら：https://hypervoice.jp/knowlefulai

関連記事：企業・ビジネスにChatGPTは取り入れるべき？禁止するべき？

関連記事：生成AIをビジネスに活かすためのスキルとは？

関連記事：AIによって労働市場が変わる？変わらない？