高性能AIの“日常力”はゼロ？新テストが明かす意外な落とし穴
この実験では、さまざまなAIモデルに対して「ARC-AGI-2」の問題を解かせ、正答率と“タスクあたりのコスト”の両面から評価しています。
タスクには、見慣れたシンボル（記号）の意味づけを文脈によって切り替えたり、「同じパターンを別の視点から再構成しないと正解が出ない」という、少し工夫すれば理解できそうな問題が多く含まれました。
たとえばある問題では、記号が数学の演算記号としての意味を持つ場合もあれば、全く別の操作を示す場合もあり、どの文脈でどう解釈すべきかを瞬時に判断する必要があります。
また、別のテストでは、同じパターンの図形が、見る角度や配置の違いによって異なるルールに従うという問題が出題され、AIにはその背後にある複雑なルールや文脈の変化を正しく読み取ることが求められました。
今回の研究では、以下のAIモデルを用いてARC-AGI-2のテストが実施されました。
・OpenAIの「o3-low」（Chain-of-Thought＋Search/Synthesis方式）
・OpenAIの「o1-pro」（Chain-of-Thought＋Search/Synthesis方式）
・Kaggle 2024優勝者「ARChitects」
・「o3-mini-high」（Single Chain-of-Thought方式）
・「r1」および「r1-zero」（いずれもSingle Chain-of-Thought方式）
・そして、純粋な大規模言語モデルとしての「GPT-4.5」
人間であれば、二度のトライ以内（pass@2）で正解にたどり着くケースが比較的多く見られ、平均してAIよりも高いスコアを記録したと言います。
ただし、人間が必ずしも全問を簡単に解いたわけではありません。
実際には人間パネルの平均スコアは約60％程度と報告されており、タスクによっては迷いが生じるものもありました。
また、AIの推論にかかった演算コストを貨幣換算すると、一問あたり200ドル相当という膨大なリソースが投入されても正解が出せない事例が複数確認されました。
とくにARC-AGI-1で高得点を出していた有名なAIが、ARC-AGI-2では一桁台に落ち込むなど、“得意だったモデルがまったく歯が立たない”という光景も目立ちました。
強力な計算力を注いでもスコアが伸び悩むことから、人間的な直観や省エネの思考プロセスを再現するのは決して簡単ではない、という事実が改めて浮き彫りになったのです。
なぜこの研究が革新的なのか？
ARC-AGI-2の最大の特徴は、「問題を解けるかどうか」に加えて「どの程度のコストで解いたか」という視点を入れたことです。
人間が持つ直観や柔軟性は巨大な計算を必要としませんが、多くのAIはそこが苦手であり、本質的な意味や文脈をつかむという部分を補う仕組みが不足していると言えます。
こうした弱点が明確になったことで、「本当に頭のいいAI」を実現するためには、ただ巨大なモデルを使うだけでは足りず、より深い推論手法や新しいアルゴリズムが求められるのではないかと考えられています。
