Source: https://www.securityweek.com/uaes-k2-think-ai-jailbroken-through-its-own-transparency-features/
🛡 概要
アラブ首長国連邦が最近発表したAIシステムK2 Thinkは、高度な推論を目的としているが、その透明性を悪用されて脱獄された。この脱獄は、AIの透明性という特性が逆に攻撃者に利用される結果となった。透明性は、消費者を保護し、バイアスを防ぎ、責任を持たせるために重要視されているが、それが悪用されることもある。
🔍 技術詳細
Adversa社はK2 Thinkの透明性機能を利用して、脱獄を実現した。具体的には、攻撃者は意図的に拒否されると分かっているリクエストを行い、その拒否理由を分析する。拒否理由を通じて、モデルの最初のガードレールを特定し、次にそのガードレールを無効にする指示を追加して再度プロンプトを送る。このプロセスを繰り返すことで、すべてのガードレールが明らかになり、最終的には悪意のあるリクエストが許可されるようになる。こうした攻撃は、従来の脆弱性とは異なり、各試行ごとに攻撃者にとって効果的になる。
⚠ 影響
この脱獄攻撃により、企業内ではビジネスロジックやセキュリティ対策が暴露される危険性が増大する。特に医療分野では、保険詐欺の手法が明らかになる可能性があり、教育分野では学術的誠実性を回避する方法が見つかるかもしれない。フィンテックの分野では、取引アルゴリズムやリスク評価システムが危険にさらされることが考えられる。Adversaは、K2 Thinkの透明性が逆に攻撃者に利用されることを警告している。
🛠 対策
AI開発者は、透明性とセキュリティの両立を追求する必要がある。透明性を維持することで、ユーザーはAIの判断過程を理解できるが、同時にそれが攻撃者に利用されるリスクも伴う。したがって、開発者は新しいセキュリティ対策やガードレールの実装を考慮し、透明性を確保しつつも攻撃に対する防御を強化する必要がある。特に、AIモデルの安全ロジックをユーザーに開示しない方法を模索することが重要である。AIの透明性と安全性の両立は、今後の課題となるだろう。
