AIの会話には「会話の指紋」がない
研究グループはまず、人間同士の自然な会話を分析するため、家族間の電話の内容を記録したデータベースを利用しました。
このデータベースから抽出したのは、親子や親戚同士の電話会話で、それぞれ約240回ずつやり取りが行われていました。
これらを「人間が行う自然な会話」として使い、後でAIの会話と比較します。
次に研究者は、AIのChatGPTにも会話を作成させることにしました。
その方法として、まずAIに人間の会話と同じような家族関係や話の状況を設定して与え、電話でのやり取りを再現するように指示しました。
ただし、登場人物をまったく同じ人にするのではなく、「母と娘」といった同じような関係性を持つ架空の人物を使って会話を生成しました。
また、AIが作る会話の発話回数(ターン数)は人間と同じ約240回でしたが、実際の語数はAIの方が少なくなりました。
こうしてAIが生成した会話と、人間の実際の会話データとを比較分析したのです。
その結果、まず興味深いことに、ChatGPTは相手の話に対して共感を示したり、相槌を打ったりすることに関しては非常に優れていました。
むしろその頻度は人間よりも高いほどで、会話に積極的に参加しているような印象を与えました(論文p.3;Fig.2は不確かさ比較)。
これはAIが会話の流れをよく理解し、相手の話をしっかりと受け止めようとしていることを示しています。
一方で、問題となったのはChatGPTが特定のパターンの発言に強く偏ることでした。
その代表例が、「助言」や「世話焼き」の発言です。
例えば、親の役割を演じるAIは「注意身体(体に気をつけて)」「保暖(暖かくして)」など、お節介とも言えるような親の定型的なセリフを非常に頻繁に使いました。
実際にデータを詳しく見てみると、ChatGPTの「相手に何かを勧めるタイプの発言」のうち、こうした助言が占める割合は65.3%にも上りました。
一方で人間の親子の会話では、「最近なぜ電話してこないの?」のように間接的な問いかけをしたり、冗談交じりで注意をしたりと、もっと多様な表現を用います。
実際の助言の割合は、人間の会話ではわずか11.1%で、それ以外の発言は確認や依頼、断りなど多様な種類がバランスよく含まれていました。
またChatGPTは、相手に何かを約束するような「~するよ」といった表現(コミッシブ)も多用していました。
AIが生成した会話では、このような約束表現が全体の約15%にも達しました(論文p.24)。
それに対し人間同士の自然な会話では、このような明確な約束が占める割合はわずか0.4%にすぎませんでした。
人間は、日常的な会話であまり安易に約束をしないものですが、AIは「安心してもらおう」という配慮が行き過ぎてしまい、不自然に約束を繰り返す傾向があったのです。
研究者は、この傾向を「AIが定型的な安心表現に寄ってしまうため」と報告しています。
さらに人間の会話では、その場の雰囲気や話し手同士の個性が豊かに表れます。
例えば、家族間では互いの言葉遣いを真似してからかったり、ちょっとした言い間違いをネタにして笑い合ったり、家族だけに通じる昔話で盛り上がったりします。
こうしたその場だけのユニークなやりとりを、研究チームは「conversational uniqueness(特定会話の独自性)」と定義しています。
会話のユニークさを示すという意味では「会話の指紋」と言える概念でしょう。
ところがChatGPTが作成した会話には、こうした人間特有の会話の個性や独自性がほとんど現れませんでした。
AIが生成した会話は一見、丁寧でスムーズですが、内容はどれも似たような決まり文句が繰り返されるばかりで、予想外の面白さやちょっとしたユーモアがありませんでした。
研究者は、AIが会話の内容をうまく平均化してしまい、結果的に個性や面白みを失っていると指摘しています。