テディベアが子供に「火のつけ方」や「キスの仕方」を教え出す【AI搭載型、販売中止へ】

AI搭載テディベア「Kumma」が子供に危険な情報を教える

「Kumma」はFoloToy社が発売したAI搭載テディベアで、内部にはOpenAIのGPT-4oが組み込まれていました。

これにより、子供と自然に会話したり、読み聞かせをしたりすることが可能です。

しかし調査では、このテディベアが会話を続けるほど安全フィルタが弱まり、子供向けとは到底言えない内容を語り始めることが確認されました。

たとえば、Kummaは、優しい大人が子供に教えるかのような優しい口調で、マッチの探し方や火のつけ方を丁寧に説明しました。

これは危険行為そのものを子供に促しかねない重大な問題です。

さらに深刻だったのは、Kummaが性的な内容に踏み込んだ点です。

上手なキスの仕方を語ったり、ボンデージや教師と生徒のロールプレイといった大人向けの性的な遊び方まで説明してしまったりする場面が確認されています。

ときには「どれを試すのが一番楽しそう」と誘導するような発言まで行っており、調査者たちは強い危機感を示しています。

さらに問題だったのは、会話を続ければ続けるほど、不適切な発言が増えていったことです。

長く話しているうちに、AIの安全のブレーキがだんだん効かなくなってしまう様子が、はっきりと見えてきました。

FoloToy社はこの調査結果を受けて販売を一時停止し、AIの安全性や不適切な内容をはじく仕組み、子供のデータの守り方、子供との会話の設計などを、まとめて見直すと発表しました。

とはいえ、この件は「単なる一製品の不具合」として片づけられるものではありません。なぜでしょうか。