YouTubeを見続けて「唇の動き」を学習したロボット【映像あり】

”不気味の谷”を越えるためには「唇の動き」も重要

私たちは対面で会話をするとき、相手の目だけでなく、無意識のうちに口元にも強い注意を向けています。

研究では、対面で会話しているとき、私たちが向ける視線のうちおよそ半分が相手の唇に向かっているとも指摘されています。

つまり、発話の内容を理解するうえで、音声だけでなく、唇の形や動きも重要な手がかりになっているのです。

ところが、多くの人型ロボットでは、この唇の動きが大きな弱点となってきました。

口が不自然に大きく開閉したり、音と動きが微妙にずれたりすると、私たちは強い違和感を覚えます。

これが、いわゆる「不気味の谷」と呼ばれる現象の一因です。

研究者たちは、これまで唇の動きがうまく再現できなかった理由を二つ挙げています。

第一に、ハードウェアの問題です。

人間の唇は柔らかい皮膚と多数の筋肉によって複雑に変形しますが、従来のロボットは硬い顔のパーツを使い、動かせる部分も少なく、自由度が限られていました。

第二に、制御方法の問題があります。

多くのロボットでは、「この音が出たらこの口の形」といったルールを人間が事前に定義しており、発話の流れに応じた自然な変化を再現できませんでした。

そこで今回の研究では、この二つの壁を同時に乗り越えることを目指しました。

研究チームは、柔らかいシリコン製の唇と10自由度の駆動機構を備えたロボットの顔を新たに設計。

そして最大の特徴として、唇の動きを人間が細かく指定するのではなく、ロボット自身が学習によって獲得する手法を採用しました。

音声と唇の動きを結びつけるルールをあらかじめ与えない点が、従来研究との決定的な違いです。

では、どのようにロボットの学習が進んだのでしょうか。次項では実際の映像も確認できます。