「不思議の国のアリス」と「老人と海」を使ってAIをテストする
学習結果を調べるために研究者たちは、AIの性能を測るテスト問題を作ることにしました。
テスト作成にあたっては169人の被験者たちに対して「不思議の国のアリス」や「老人と海」のようなさまざまな物語や文章を聞いてもらい、そのときの脳活動(脳波と脳磁場)を毎秒1000カ所で測定しました。
このテスト問題は英単語の意味を答えるテストに似ています。
テストにおいてAIには、被験者から採取された3秒間の脳活動データが提示され、そのときに被験者が効いていた音声(793種類の単語)を当てるためにいくつか候補をあげてもらいます。
(※793語には1日に使用される大部分の単語が含まれています)
テストの結果、脳磁場の測定データを使った場合、AIの推測した上位10位に、正解の音声が含まれている確率が73%になると判明。
また研究者の1人は後に、AIの推測した第1位が正解と一致する確率が44%に達することを報告しています。
(※一方で、脳波の測定データを使った場合、AIの推測した上位10位に正解の音声が含まれる可能性は30%に届きませんでした)
この結果は、AIは脳活動を読み取って意味のある音声へとある程度の正確さで変換できることを示します。