AIが1000以上の「あやしい科学雑誌」を検出 (3/3)

AIの判定はどこまで信用できる？

ここまで、AI（人工知能）を使って疑わしい学術雑誌を見つけ出す研究について説明してきましたが、「AIの判定は本当に信頼できるの？」という疑問が湧いてくるかもしれません。

実際にAIが「あやしい」と判定した雑誌を詳しく調べると、必ずしも悪意があるとは言えない雑誌も含まれていました。

例えば、ウェブサイトが一時的に停止したり、雑誌の発行が休止しているなど、単に運営上の問題で「あやしい」と判断されてしまった雑誌もあります。

また、本来は雑誌ではない書籍のシリーズや、学術会議の発表資料（会議録）などが誤って雑誌として扱われ、「怪しい雑誌」として判定されるケースもありました。

さらに、小さな学会が真面目に運営している雑誌でも、ウェブサイトが簡素だったり、あまり目立たないだけで、誤って疑われてしまった例もありました。

こうした状況を見ると、AIの判定結果をそのまま完全に信じることには問題があると言えます。

一方で、AIは「実際にあやしい雑誌」を見逃してしまうこともあります。

AIが正しく見抜ける割合は完全ではなく、実際に存在する怪しい雑誌のうち、6割近くを見逃していることが分かりました。

つまり、このAIは万能の道具ではなく、雑誌のチェックを始めるための最初の段階（一次ふるい）として考えるべきです。

研究チーム自身も、最終的に雑誌が本当に問題かどうかを判断するのは、人間の専門家（例えば雑誌の編集者や、研究費を出す機関など）の仕事だと強調しています。

実際に、このAIが「あやしい」と判断した雑誌を人間の専門家がランダムに取り出して確認してみたところ、AIが指摘した雑誌のうち約4分の1は問題がないと判明しました。

しかし、それ以外の約4分の3はやはり「あやしい雑誌」であることが分かり、AIの判定と人間の専門家の意見がほぼ一致したのです。

この結果は、AIが一定の精度で「あやしい雑誌」を見つける能力を持っていることを示していますが、同時に、AIの判定だけに頼るのではなく、専門家が必ず確認を行う必要があることも明らかにしています。

ここまで説明してきたように、このAIはまだ完璧ではありません。

しかし、人間がすべての雑誌を一つ一つ確認して「あやしいかどうか」を判断するのは、現実的に不可能です。

世界中には膨大な数の学術雑誌があり、それらを人の手だけでチェックするのは時間と労力がかかりすぎます。

そのため、AIを活用することで、多くの雑誌の中から「あやしいかもしれない雑誌」をある程度の正確さで素早く見つけ出し、その後に専門家がじっくりと検討すればよいのです。

AIが雑誌のチェック作業を最初に引き受けることで、限られた人間の専門家が本当に精査すべき重要な雑誌に力を注ぐことができるようになります。

今回の研究チームは、このAIを「科学の防火壁（ファイアウォール）」と表現しました。

防火壁とは、もともと建物で火災が広がるのを防ぐ壁のことで、コンピューターの世界では、外部からの危険な侵入を防ぐためのシステムのことを指します。

つまり、このAIは怪しい雑誌が科学界に入り込んで信頼性を壊してしまうのを防ぐ、最初の防御ラインとして機能するというわけです。

研究チームは、大学や出版社がこのAIを手軽に利用できるようにすることを検討しており、このシステムが普及すれば、怪しい雑誌による科学への被害を防ぐことが期待されます。

もちろん、それはあくまで専門家が最後のチェックを行うという前提のもとですが、AIを上手に使うことで、科学の信頼性を守る新しい仕組みが生まれることになるでしょう。