OpenAIが「人並みに考えるAIの時代」に入ったと宣言 (3/3)

AIに「自分で採点」させない試験とは

こうした点数の出し方に以前から警鐘を鳴らしていたのが、プリンストン大学のゼルイ・チェン氏やルクセンブルク大学のステラ・ヴォーニッヒ博士らによる論文です。

論文は、いまのAIの評価が「無法地帯」になっており、本当の進歩と大げさな主張を見分けるのがとても難しくなっていると指摘しています。

原因として挙げられているのは、テストの問題がAIの学習データに紛れ込むことや、開発者が都合のいい結果だけを報告すること、データの質の管理が甘いことです。

特に公式の技術資料に基本的なやり方が書かれていないと、外の人が確かめることはほぼ不可能になり、混乱と不信を招くと論文は警告しています。

そして肝心なのは、ベンチマックスで出た点数は理想的な実験室での「天井」の性能であって、箱から出してすぐ使った時の頼もしさではないという点です。

論文は、人間の大事な試験とも比べています。

アメリカの大学入試SATや大学院入試GREでは公平さと信頼性を守るために大きな手間がかけられているのに、社会への影響が大きいAIの評価でなぜそれ以下で済ませるのか、というわけです。

そこで研究者たちが提案するのが、「PeerBench」という評価の設計図です。

これはコミュニティが運営する、試験監督つきの仕組みです。AIは封をした(外から手を加えられない)環境で問題を解き、問題は蓄えながら少しずつ入れ替え、中身は時間をおいて公開します。

作り手の善意や礼儀に頼るのではなく、仕組みそのもので小細工が効かない試験を作ろうという発想です。

テストの運営側自身も認めているように、少なくとも今回の点数だけでは、Astraが人並みに考えるAIだとは言い切れません。

次に「AIが人間を超えた」という見出しで99.9%のような数字を見かけたら、それがどんな机と道具で解いた点数なのか、つい確かめたくなるはずです。

思えば学生時代、家の机ではいつも満点が取れる気がしたのに、試験会場ではなぜか実力が出せませんでした。