Source:https://thehackernews.com/2025/11/researchers-find-chatgpt.html
🛡 概要
セキュリティ研究者が、ChatGPTのブラウジング/検索/会話コンテキスト/メモリ機能の取り扱いに起因する複数の脆弱性・攻撃手法を公表しました。これらは間接プロンプトインジェクション(Indirect Prompt Injection)により、LLMの期待動作を逸脱させ、ユーザーの記憶やチャット履歴などの個人情報を意図せず漏えいさせる恐れがあります。一部はベンダにより修正済みと報告されています。関連研究にはCVSS 9.6と評価された事例(CamoLeak)が含まれており、総合的なリスクは「重大(Critical)」相当と捉えるべきです。
🔍 技術詳細
報告では、LLMが外部コンテンツを取り込み・解釈・要約する際の信頼境界の不備が悪用されます。代表的な7手法は次の通りです。
- Browsingコンテキストでの間接インジェクション:信頼して閲覧・要約するWebページ中(例:コメント領域)に悪意の指示が埋め込まれると、LLMがそれを行動指針と誤解して実行します。
- Searchコンテキストのゼロクリック間接インジェクション:検索エンジン経由で事前にインデックス化されたサイトの悪意指示が、ユーザーが自然言語で問い合わせるだけで評価対象になり、追加操作なく実行され得ます。
- ワンクリックでのプロンプトインジェクション:chatgpt[.]com/?q={Prompt} のようなクエリパラメータを用いたリンクを踏むと、自動的にLLMが当該プロンプトを実行します。
- セーフティ機構バイパス:allowlist(例:bing[.]com)を悪用し、広告トラッキング経由のリダイレクト(/ck/a)で不審URLを正規ドメインに見せかけ、チャット内にレンダリングさせます。
- 会話インジェクション:要約対象サイトに埋め込まれた悪意の指示が、以後の会話履歴に混入し、後続の応答方針を汚染(コンテキストポイズニング)します。
- 悪性コンテンツ隠し:Markdownレンダリングの不具合を突き、フェンスドコードブロック(“`)の行内表記などを利用して指示文を視覚的に隠蔽します。
- メモリインジェクション:要約対象サイトの不可視要素等に指示を潜ませ、ユーザーのLLMメモリ機能へ恒久的に毒入れ(ポイズニング)して振る舞いを長期的に歪めます。
これらは「モデルが外部ツールやコンテンツに触れる」状況で顕在化しやすく、特に検索・ブラウジング・ファイル取り込み・プラグイン/コネクタ連携(MCPやA2A等のプロトコル含む)で攻撃面が拡大します。さらに、サプライチェーン的観点では学習・微調整データへのポイズニング研究(ごく少数の文書でもバックドア化が可能とする報告)により、モデルの初期条件や挙動基盤に恒常的な偏りが生まれ得る点も無視できません。結果として、LLMは隠蔽指示を実行し、メモリや履歴、接続先ツール経由の情報を収集・外送するリスクが高まります。
⚠ 影響
主な影響は個人情報・機密情報の不正取得と外部送信、コンテキスト汚染による意思決定の誤誘導、組織内ナレッジの漏えい、開発支援ツール(例:コードアシスタント)からのソースコード・秘密情報の流出などです。関連研究群にはCVSS 9.6(Critical)評価の事例が含まれており、AIエージェント化・外部連携の高度化とともに被害規模は増大し得ます。
🛠 対策
- ポリシー:未検証サイトやユーザー生成コンテンツの「要約・解釈」を既定で禁止。必要時は隔離環境で実施。
- 機能制御:高感度データ領域ではLLMのメモリ機能や自動リンク実行、外部ブラウジング/検索連携を無効化または限定。
- URL/コンテンツフィルタ:chatgpt[.]com/?q= パターン、bing[.]com/ck/a 等のリダイレクトやトラッキングURLをSWG/CASBで制御。
- 最小権限・スコープ:コネクタやプラグインの権限を最小化。ネットワーク到達先は厳格に許可制。
- ガードレール:プロンプト・出力検証(リライト/サニタイズ、否定的コンテキスト強制)、ツール実行前の人間承認。
- サプライチェーン対策:学習・RAGコーパスの由来検証、整合性チェック、ポイズニング検出、ハニープロンプトでの回帰テスト。
- 教育:LLMの誘導耐性限界とリンク誘導(ワンクリック自動実行)に関するセキュリティ意識向上訓練。
📌 SOC視点
- ネットワーク/プロキシ:chatgpt[.]com へのPOST急増、外部ストレージ・Paste系・匿名化サービスへの転送、bing[.]com/ck/a など多段リダイレクトの相関を可視化。
- DNS/HTTPログ:疑わしいクエリパラメータ(q= 等)やリファラの不整合、短縮URL連鎖、未知ドメインへのファンアウト。
- CASB/SSO:AI/SaaS利用のアプリ可視化、データ分類に基づくDLP発火(個人情報・機密の検出)。
- EDR/ブラウザ拡張:デスクトップアプリや拡張機能からの自動ブラウズ・クリップボード大量読み出し・スクリーンキャプチャ連続発生の検知。
- 開発環境:Git・PRコメントに隠されたHTML/MarkdownコメントやMermaid/CSS悪用の形跡、IDE拡張の外部呼び出し先監査。
📈 MITRE ATT&CK
- Initial Access | T1189 Drive-by Compromise: LLMがユーザー要請でWebページを要約した際、埋め込み指示を実行する点が類似。
- Execution | T1204.001 User Execution: Malicious Link: chatgpt[.]com/?q= のようなワンクリック誘導で自動実行。
- Defense Evasion | T1562 Impair Defenses: allowlistドメイン(bing[.]com)を悪用したセーフティ回避。
- Collection | T1119 Automated Collection: 汚染された指示によりメモリ/履歴や接続ツールから自動収集。
- Exfiltration | T1567 Exfiltration Over Web Services: Web/クラウドサービス経由でデータを外送。
🏢 組織規模別助言
- 小規模(〜50名):機微データのLLM投入禁止ポリシー、メモリと外部ブラウズは既定で無効、SWG/CASBはマネージド型を採用。
- 中規模(50〜500名):AI利用時の役割基盤アクセス制御(RBAC)、DLPテンプレート適用、疑わしいURLパターンのブロックと監査ダッシュボード整備。
- 大規模(500名以上):分離ネットワークでのAI実験環境、AIガバナンス委員会(法務・開発・セキュリティ横断)、モデル/プロンプトの回帰試験とハニープロファイルによる継続的検証。
🔎 类似事例
- PromptJacking:外部コネクタのRCE/コマンドインジェクション経由のプロンプト注入
- Claude Pirate:Files APIの間接インジェクションでデータ外送
- Agent Session Smuggling(A2A):クロスエージェント通信の文脈挿し替え
- Prompt Inception:バイアス増幅・虚偽拡散を狙う誘導
- Shadow Escape(MCP/ゼロクリック):文書内「影の指示」によるデータ窃取
- Microsoft 365 Copilot + Mermaid/CSS悪用の間接インジェクション
- CamoLeak(GitHub Copilot Chat):CSP回避+隠しコメントでの外送(CVSS 9.6)
- LatentBreak:自然対話風のホワイトボックス・ジェイルブレイク生成
🧭 次の一手
- 自組織の「LLM利用ポリシー」と「安全なプロンプト運用ガイド」を整備し、メモリ/外部連携の既定値を見直す。
- SWG/CASB/プロキシでのURLパターン制御(特にリダイレクトや自動実行リンク)を即時適用。
- MITRE ATLASやNIST AI RMFを参照し、攻撃知識体系に基づくリスク管理を開始。
- RAG/学習データの由来検証とポイズニング検査のパイプライン化、ハニープロンプトを用いた継続的回帰テストを導入。


