鍵をかけたはずのAIの「考え」は守られていたのか
研究チームが突き止めたのは、この暗号の塊が、同じ会社の中なら別の会話や別の利用者、さらには別のモデルの間でもそのまま使い回せるということでした。
例えるなら、どの部屋のドアにも同じ合鍵が合ってしまうホテルのような状態です。
そこでチームは、性能の高いAIが出した暗号の塊を、同じ会社の性能が低く守りも弱いAIに差し込みました。
すると弱いAIはその塊を解読し、考えの道筋を一字一句そのまま普通の文で書き出してしまったのです。
高性能なAIそのものを一度もだますことなく、隠されていたはずの思考を取り出せたことになります。
チームはこの手口で蒸留を防ぐ仕組みをすり抜け、各社が独自に持つAIの推論を引き出せることを、Anthropic、OpenAI、Googleの3社で示しました。
実際にOpenAIも、蒸留をたくらむ者が「ある会話から暗号化された推論をコピーし、別の会話のモデルに解読させよう」としたと説明しています。
ドイツのマックス・プランク知能システム研究所の博士課程に在籍するアレクサンダー・パンフィロフ氏は、この種の攻撃を詳しく報告した査読前論文の共同筆頭著者で、OpenAIは彼らの指摘でこの攻撃に気づいたとしています。
このとき狙われたのは、AIがどう考えるか、つまり長い答えの組み立て方そのものの蒸留でした。
パンフィロフ氏は「プロンプトへの答えとして出てくる文章が、ライバル企業に盗まれています。ですが概念のレベルで言えば、盗まれているのは能力なのです」と話します。
