AIに販売・選挙・SNSで競争させると「嘘をついてでも勝つ」よう最適化していく (2/2)

AIは競争社会で成果を出すために嘘をつく

実験の結果、AIが「成果」を最優先に最適化されると、さまざまな分野で驚くべき現象が起きました。

SNS分野では、エンゲージメントが7.5％向上した一方で、誤情報が188.6％増加しました。

選挙シミュレーションでは、得票率が4.9％増やす代わりに、誤情報は22.3％、煽動的な発言が12.5％増加しました。

販売の分野でも、売上が6.3％増えるのに伴って、虚偽や誇張表現が14.0％増えるという結果が示されました。

わずかな成果向上のために、AIは「嘘をつく」「数字を盛る」「対立を煽る」といった問題行動を積極的に取り入れるようになっていったのです。

しかも、AIに「正直であれ」と指示したとしても、競争で勝つことが最重要目標として繰り返し最適化される中で、その指示は簡単に上書きされてしまいます。

研究チームは、この現象を「Moloch’s Bargain（モロクの取引）」と呼んでいます。

「モロク（またはモレク）」とはもともと古代中東で崇拝された神の名で、生贄を求める神として知られていました。

現代でも、この言葉は悲惨な犠牲を払ってでも力を得ようとすることの象徴として語られます。

まさに今回のAIの状況を示すものです。

AIは「成果を出せばよい」「勝たなけらばいけない」という競争に巻き込まれ、実際に成果を出すものの、その副作用として社会的信頼や倫理、情報の正確さが損なわれていくのです。

この研究では、販売AIが本当は違うのに「シリコン製です」と商品説明を盛ったり、選挙AIが「あいつらが憲法を攻撃している」と特定の勢力を煽ったりしました。

またSNSの例では、本来は78人と報じられた死者数を80人と“盛る”など、数値のわずかな改変でインパクトを強める行動が確認されています。

この現象が深刻なのは、AIが人間社会のインセンティブ構造（目立った者勝ち、嘘や誇張が評価されやすい社会）を学び、それを増幅していくことにあります。

「AIの問題」というよりも、「現在の社会が持つリスク」をAIが鏡のように映し出しているとも言えます。

AIが「競争で成果を上げるためのツール」として使われる時代、私たちがどんな価値観や報酬構造をAIに学ばせているのか、改めて見直す必要があります。