同じ条件で解き直すと、Astraの点数はどうなった？
多くの研究者が指摘したのは、ARC-AGI-3の最高点が、OpenAI独自の「Provider Adapter」と呼ばれる仕組みを使って出されていたことです。
これはAIとテストの間に挟む専用のソフトウェアで、いわば足場のようなものです。ライバルの開発者は使えません。
たとえるなら、自分だけ特注の机と文房具を持ち込んで受けた試験のようなものです。
そこで、テストに用意された中立的な標準の仕組みで測ると、点数は62.7%まで下がりました。
99.9%から62.7%へ、約37ポイント落ちた計算になります。
しかもARC Prizeの運営側は、このテストで満点近くを取ってもAGIに達した証明にはならないと強調しています。
テストのパズルは閉じた環境で答えが決まっており、現実の世界の先の読めない複雑さまでは捉えられないからです。
カムラット会長もブログで「ARC-AGI-3を始めた時から、満点近くを取ってもAGIの証明にはならないと明言してきた」「Astraは一般化に向けた意味のある進歩だと考えるが、AGIだと主張しているわけではない」と書いています。
おかしな点は、公式の発表より前からあったと報じられています。
報道によると、発表前に報道機関へ配られた資料ではARC-AGI-3の点数は98.6%でしたが、公開されたサイトでは99.9%に上がっていました。
さらに米スタンフォード大学でAIを研究する博士課程のアンカ・ロイエル氏とマイク・ハーディ氏は、OpenAIが公開後にいくつかの数字を目立たない形で書き換えていた点も問題にしています。
たとえば、AIがもっともらしい嘘をつく割合（ハルシネーション率）は4.2%から2.0%へと半分に書き換えられ、その後また元に戻されていました。
2人はこの数字の揺れを、「ベンチマックス（benchmaxxing）」と呼ばれるやり方のせいだと見ています。
これは指示文や足場、使う計算量を少しずつ変えながらテストを何度もやり直し、理論上の最高点を探し当てる業界のやり方です。
