AIの「入試」で99.9%を出したGPT-6 Astra
AIの実力を比べる時に使われるのが、「ベンチマーク」と呼ばれるAI用のテストです。
OpenAIはさまざまなテストの結果を公開し、Astraはソフトウェア開発から数学、さらには科学研究まで、幅広い分野で最高水準の性能を出したと主張しました。
同社のデータでは、専門分野のテストで前のモデル「GPT-5.6 Sol」やライバル企業のトップモデルより10〜20%高い性能を出したとされています。
中でも目玉になったのが「ARC-AGI-3」というテストです。
これは見たことのない抽象的な世界で、AIがどれだけ効率よく新しい技能を身につけるかを測るために作られました。
Astraはここで、99.9%という見出しになる点数を出しました。
テストを運営する非営利団体ARC Prize財団の検証でも、Astraはテストの96%のレベル(ステージ)で人間の手際の基準を上回り、1レベルあたりの手数は人間より平均51.7%少なかったと報告されています。
財団のグレッグ・カムラット会長も「これまで試した中で最高のモデルというだけでなく、最先端モデルの性能が意味のある一段を上がったことを示している」とコメントしました。
数字だけを見れば、人並みどころか人間より手際のいいAIが現れたようにも見えます。
しかし、この99.9%には、ある「条件」がついていたのです。
