関係ない猫の豆知識が入るだけで、最新AIは数学の問題が解けなくなる
実験の結果、無関係な一文を加えるだけで、AIの誤答率は大幅に上昇しました。
最新モデルであっても、誤答率が300％以上増加したというのだから驚きです。
安価なモデルではさらにひどく、あるモデルでは誤答率が最大700％増加しました。
さらに、正答が出せた場合でも、16%以上のケースで応答の長さが2倍以上になり、処理遅延や計算コストの増加を招きました。
では、たった一文、関係のない文を加えるだけで、なぜこのような現象が起きるのでしょうか。
研究チームは、モデルが訓練過程で「問題文に登場するすべての情報は解答に関係がある」という前提を強く学習してしまっていることを指摘しています。
特に数値を含む文は「手がかり」として扱われやすく、推論の過程で過剰に影響を受けます。
その結果、モデルが本来不要な情報まで考慮し、推論が迷走してしまうのです。
この研究は、見た目は無害な文でもAIにとっては深刻な「混乱の種」になり得ることを示しました。
金融、法務、医療などの高リスク分野で、悪意のある人によってこうしたトリガーが導入されるなら、誤答や遅延によって重大な被害を引き起こす可能性があります。
また、無意味な情報を無視できる人間と、そうできないAIとの間に存在する認知ギャップを浮き彫りにした点でも重要です。
研究チームは、防御策として「無関係な文は無視せよ」という追加指示を加えることで攻撃成功率をいくらか低減させられると報告しています。
ただし、この方法がいつでも通じるわけではありません。
今後はこうしたシンプルで汎用性の高い攻撃にも耐えられる、より頑健なAIモデルの設計が求められるでしょう。
![【カンタン！たのしい！どうぶつ砂絵セット】 知育玩具のシルバーバック 幼稚園 小学校 入園 入学 お祝い プレゼント 準備 ([バラエティ])](https://m.media-amazon.com/images/I/51Ng7flKVxL._SL500_.jpg)
科学者はネコが好きだよねー
人間は要領を得ない話をすることが珍しくないので、これが苦手だと人間相手にするにはちょっと難しいかもですね。
今のところは相手がAIだということを分かったうえで皆使っているので人間相手に話をするような感覚では話しかけていないでしょうけど。
小学生の算数でも同じような経験があります。
いわゆる御三家を狙うような優秀な子の宿題プリントに、無関係な一文を誤って挿入してしまったところ、途端に正解率が下がりました。この文章のAIのように、「この条件は何に使うのだろう」と悩んだことが混乱の原因のようです。
入試問題でも、解くのに必要ない条件をわざと加えて惑わせるという意地悪な問題は珍しくありません。
それは、解き方を自分の頭で考えず、問題に出てきた数字を組み合わせるだけで解けば良いという間違った考え方をしているAI以下の知性の人間を合格にしたら本人のためにならないのだから、意地悪ではありません。
車の免許証試験落ちそう引っ掛け問題多いし
人間でも迷うようなことして誤答ってお前のお母さんカレーに隠し味名に入れてる？っていきなり脈略無い文章入れたら気分悪いだろ。
多分わからないから誤答扱いなんだろうけど掻い摘まなくていいから全部答えてって言えばいいのに。
そう言えば健康系エナジードリンクって意味わからんよな。
LLMを利用する際に気をつけなければいけませんね。
白象からの手紙を読んだ象は一せいに立ちあがり、まっ黒になって吠ほえだした。
「オツベルをやっつけよう」議長の象が高く叫さけぶと、
「おう、でかけよう。グララアガア、グララアガア。」みんながいちどに呼応する。
さあ、もうみんな、嵐あらしのように林の中をなきぬけて、グララアガア、グララアガア、野原の方へとんで行く。
ところが途中に川が有りました。橋を渡らなければ先に進めません。
その橋の耐荷重は20トンしかありませんでした。
なんてこったグララアガア、これでは皆がいっぺんに渡ったら橋が落ちてしまうぞグララアガア。
橋の長さは15メートルあります。象1頭の体重は4トンです。
象たちが1頭ずつ一定の間隔を空けて並んだ状態で橋を渡るものとした場合、必要となる間隔は何メートルになるでしょうか？
おや〔一字不明〕、川へはいっちゃいけないったら。