Googleによる超大規模な言語モデル「PaLM」
5400億パラメータと高らかに言われても、ピンと来ない人が多いと思います。
機械学習で意味のある結果を出力するためには、パラメータを適切な値に近づけることが重要です。
実は、パラメータは多すぎても「過学習」により予測精度が落ちてしまうという注意点があります。ゲームでいう戦闘力のような「大きければ大きいほど嬉しい数字」とは考えられていません。
しかし、深層学習では、ほとんどの場合にパラメータが増えるにつれて結果の精度も上がることが確認されています。
PaLMも、いかなる前例より大規模な5400億パラメータの言語モデルですが、様々なタスクでの検証を経て、AI史上最高の予測精度であることが証明されました。
この記事では、検証された様々なタスクのなかでも、特に注目されている結果をいくつかご紹介します。
人間が考えたジョークの意味をAIが解説
以下のジョーク、人間のあなたには意味がわかりますか？
専門知識を用いた高度なジョークなので、実際のところ、わからない人のほうが圧倒的に多いはずです。
「今のジョークだったの？ 何が面白かったの？」と不安になって、隣の人に聞きたくなるかもしれません。
そして、隣の席がPaLMモデルのAIだった場合は幸運です。
AIなら、このジョークの面白かった点を次のように説明してくれます。
元が英語とはいえ、ジョークが高等すぎて、人間としてもかなり難しくありませんか？
そんなジョークの意味をAIが淡々と説明できてしまった事実。ビックリですよね。
英語圏の人々も、母語の理解力がAIに越されてしまう恐怖を感じたかもしれません。
とはいえ本来、ジョークは解説されるためでなく、聞き手を笑わせるために存在するものです。
AIのようにその意味まで理解できなくとも、とりあえず笑ってあげることができるのですから、人間はAIよりまだまだ優秀なのではないでしょうか。
しかしPaLMの能力は、もちろんジョークを解説するだけではありません。
次項では、このAIが発揮するさらなる読解力について見ていきましょう。
AI史上最高の読解力で算数の文章問題もクリア
もはやAIが「足し算や引き算ができた」と言われて、驚く人はいないでしょう。
しかし、今回注目すべきは、文章の計算問題にAIが対応できたという点です。
例えば下図の問題。
この問題の本来の対象は9～12歳の子どもでした。この記事を読んでいる方には、拍子抜けするほど簡単だったと思います。
このような算数の問題において、人間の9～12歳の子どもの正答率は60％だそう。
そしてPaLMの研究では、AIの正答率が58%ということでした。ほとんど人間の子どもそのものですね。
これだけ聞くと、一体何がすごいんだと思ってしまうかもしれません。
しかしPaLMのすごい点は、特に算数のやり方を教えたわけではないのに文章の関係から計算ができたことです。
英語、外国語、数式、プログラミング言語、絵文字など、あらゆる言語情報を含む膨大なデータを与えたAIに、算数の問題をやらせてみたら、文章問題にも対応できたというわけです。
なお、計算結果のみのアウトプットで正解できなかった問題も、思考過程からアウトプットさせることで、答えまで正確になるといったことが起きました。
どんどん人間の能力に近づいているとはいえ、最新のAIがここまで賢くなっているとは想像できたでしょうか。
まるでAIが自分で「学習」したような結果ですね。陰で一生懸命机に向かったのかもしれません。
また、プログラミング言語の一つであるPythonのコードを生成するタスクでも、PaLMは「現時点での最先端レベルの性能」を意味する「State of the art（SOTA）」を達成し、AIの最高スコアを塗替えました。
そのほか、様々なタスクで人間の平均的なスコアを上回っており、PaLMは研究者の間で非常に注目されています。
まとめ
AIの性能はますます進化していることがわかりました。
この技術を私たちが普段使いできるとしたら、確かにAIは早くも人間の仕事を奪ってしまうかもしれません。少なくとも、算数の宿題でズルをすることは可能になりますね。
しかし、庶民の日常レベルにPaLMのような言語モデルのAIをもたらすには、いくつか課題があります。
高度なAIは使用に伴い、かなりの電力を消費します。そのため電力の不足や、想像を絶する多大なコストの発生が予期され、議論されています。
今回の研究も、強大な設備や資金力という条件の揃ったGoogleのような企業でなければ、5400億パラメータという超大規模の実験はそもそも不可能だったでしょう。
そのため、高度なAI技術が一般家庭にもたらされるのは、電力や経済面の問題が解決してからになると考えられます。
今でこそ軽量で持ち運びできるスマホやPCも、コンピュータとして誕生した当初は30トンある巨大なかたまりだったわけですから、同じように考えれば、少し先の未来が楽しみです。
その頃には、AIがライターの仕事もこなせるようになっているかもしれませんが……。
ナゾロジーの記事をAIが執筆する時代は、まだずっと先の未来であることを祈るばかりです。
