AIの能力を「人狼ゲーム」で測る理由

AIの性能を正しく評価するためには、どんな方法が良いでしょうか?
これまでAIは、数学問題を正しく解いたり、膨大な知識を覚えているかなど、主に「計算力」や「記憶力」で比較されてきました。
しかし実際の社会で人間が活躍するためには、それだけでは足りません。
相手をうまく説得したり、相手の気持ちや嘘を見抜いたりするような、もっと複雑な能力が必要です。
最近、そうした「人間らしい力」をAIがどのくらい持っているのかを調べる方法として注目されているのが「人狼ゲーム」です。
人狼ゲームは「誰が嘘をついているかを推理するゲーム」で、ゲームに参加する人は「嘘をついてだます側」と「嘘を見抜く側」に分かれます。
「だます側」は相手を信用させるために巧みに嘘をつき、「見抜く側」は発言の矛盾や不自然さを見つけて嘘を見破ろうとします。
つまり、このゲームには相手の心理を読み取ったり、自分が信用されるよう振る舞ったりする高度な能力が必要なのです。
嘘をつく力、嘘を見抜く力、そして巧妙な心理的駆け引きが必要なこのゲームは、まさにAIの「社会的知能」をテストするのに最適なのです。
コラム:人狼ゲームとは?
「人狼ゲーム」という名前を聞いたことがある人もいるかもしれませんが、このゲームはシンプルに言えば「嘘をついているのは誰か」を推理するゲームです。ゲームに参加する人はそれぞれ「村人」か「人狼」という役割を与えられますが、自分以外の誰がどの役割なのか、最初は全くわかりません。ここが人狼ゲームのドキドキするポイントの一つです。村人側の目標は「誰が人狼か」を話し合いで見抜き、投票で追放すること。そのため、村人同士は一生懸命コミュニケーションを取り、矛盾点を見つけたり、怪し言動を探したりします。一方、人狼側の目標は全く逆で、「自分が人狼であることを絶対にバレないようにする」ことが重要です。人狼は村人に怪しまれないよう巧妙に嘘をつき、別の村人に疑いの目を向けさせるよう仕向けます。こうして「嘘をつく人狼」と「嘘を見抜く村人」の知恵比べが、昼と夜の二つのフェーズで展開していきます。昼の時間では全員が議論を行い、最も人狼らしいと疑われた人物を投票で脱落させます。夜になると、人狼はこっそり村人の中から一人を選んで犠牲者にします。こうして毎日少しずつ人数が減り、最終的に人狼がすべて追放されれば村人の勝ち、逆に人狼が最後まで正体を隠し通せば人狼の勝ちとなります。嘘と本音が入り乱れる心理的な駆け引きこそが、人狼ゲームが人々を夢中にさせる魅力なのです。
研究チームは、最新の複数の「大規模言語モデル(LLM)」を使って、この人狼ゲームを行わせました。
「大規模言語モデル」というのは、人間のように自然な言葉を使って会話ができる、高度なAIのことです。
このAI同士を人狼ゲームで直接対決させることで、どのAIが嘘をつくのが上手いのか、あるいは嘘を見抜くのが得意なのかを調べたのです。
これはAIがどれくらい人間のように嘘や説得を扱えるかを明らかにするという新しい試みです。
どのAIがどのような状況で騙されやすいのか、または人を騙しやすいのかを理解することができれば、将来的にAIをより安全に使うための対策を作り出すのに役立ちます。
AIたちはどのように戦い、どのモデルが1番になったのでしょうか?