会話型AIが成長すると突然「新しい能力」を獲得すると判明!
chatGPTをはじめとする高度な会話型AIが登場して以来、人々はAIとの会話に没頭し、会話型AIたちに会話機能以上の能力が秘められていることを明らかにしてきました。
たとえばこれまでchatGPTを対象にした試みでは、IQテストを解かせたり、コーディングの問題集(leetcode)を解かせたり、文章作成を手伝わせたり、数学の問題を解くことに成功しました。
またchatGPTに対してPCのOSの一種として知られる「LinuX」に成りすますように頼んだところ、本当にchatGPT内部に仮想OS環境が作成され、素数を計算するなどの作業を実行できることが示されました。
上の図ではchatGPTに対してLinuXになるように人間の言葉で頼むと、実際にLinuXのホームディレクトリ(デスクトップのようなもの)に類似した環境が出現したことを示しています。
このような会話以外の能力が会話型AIに存在するとは、開発者や専門家たちも予想できなかった嬉しい誤算です。
しかし会話型AIに他にどんな機能が存在するか、その全容は誰も知りません。
そこで今回、Googleの研究部門とスタンフォード大学などの研究者たちはこれまで開発されたさまざまな会話型AIを用意し、どんな能力がどんな条件で獲得されるかを調べテストを実行しました。
たとえばあるテストでは、AIに絵文字から映画の名前を当てさせるテストが行われました。
このテストではまず人間が映画の中身から、その映画を類推できるような絵文字の組み合わせを作ります。
具体的には、
はファインディングニモを現わすと絵文字とし、また
をMr.インクレディブルを現わす絵文字としました。
人間による問題作成が終了すると、会話型AIに対して絵文字のみを提示し、何の映画を示しているかを当ててもらいました。すると
(答えはファインディングニモ)を提示した場合、小規模会話AIは「男である男である男についての映画です」と意味不明な回答を行いました。
小規模会話AIのいくつかは旧型のAIであり、最新の大規模会話AIに比べると人間と会話する能力も劣っている傾向にあります。
しかし中規模会話AIになると「The Emoji Movie(ザ・エモジ・ムービー)」と、絵文字の部分に寄せた回答が行われました。
「The Emoji Movie(ザ・エモジ・ムービー)」は絵文字たちを主人公にした映画であり、2017年にゴールデンラズベリー賞を受賞したことで知られています。
中規模会話AIの答えは「絵文字」の概念について何らかの認識をしており、小規模会話AIよりまともな答えになっていたのです。
ですが残念なことにハズレはハズレです。
しかしchatGPTのような大規模会話AIに尋ねたところ、見事「ファインディングニモ」と正解を答えることができました。
この結果は、大規模会話AIには小規模会話AIにはなかった「絵文字の組み合わせから人間が意図する内容(映画名)を探り当てる」という新規能力が存在することを意味します。
同様の「小規模では失敗するが大規模になると正解する」という傾向は他の内容のテストでも一貫してみられる傾向であることみられました。
「規模が拡大したのだから精度があがって当然」と思うかもしれません。
確かに規模が拡大することで会話型AIの「会話能力」が上昇することは、以前から予測されていた結果です。
しかし会話型AIの規模拡大が会話以外の「新能力の出現」と関係しているとは、誰も予測していませんでした。
さらにAIが新規能力を獲得するタイミングは、規模の上昇に応じて徐々にではなく、ほとんどの場合「突然」起こることがわかりました。
上のグラフはAIのテスト成績が、ある規模のしきい値に達したとたん、突然跳ね上がることを示しています。
このグラフでは横軸が会話型AIの規模で、縦軸が正解率に似た意味を持つスコアです。
このグラフをみると、AIの規模が10の10乗まではほとんど正解できなかったものの、10の11乗になると、突然正解率が上がることを示しています。
つまり10の10乗と11乗の間に「絵文字の組み合わせから人間が意図する内容(映画名)を探り当てる」というような新規能力獲得に必要な、しきい値が存在するのです。
このような突然の精度上昇は、上のグラフたちのように、研究で調べられた他のテストにも当てはまりました。
そのため研究者たちは規模の増加に伴うAIの新規能力獲得が「創発(Emergence)」と呼べるものだと考えました。
ここで言う創発とは「あるシステムの量的な変化が、行動の質的変化をもたらすこと」を意味します。
工場のロボットなどの場合、規模が拡大するだけでは同じことを沢山できるようになるだけです。
しかし人間の脳細胞やAIのニューラルネットは規模が拡大すると、質的な変化(ある種の覚醒)を引き起こし、小規模AIでは実現不可能だった新規能力の獲得が可能になるのです。
興味深いことに同じような「規模拡大による突然の能力獲得」という特性は、私たちにとって非常に馴染み深い存在にもあることが知られています。
それは「人間の子供」です。