自分の好きな音楽に出会う技術
――さきほど後藤さんは音楽がデジタル化されて膨大な楽曲にアクセスできるようになった一方で、好みの楽曲に出会うことが難しいという問題を話されていましたよね。
後藤：はい、既に膨大な楽曲がある上に、新しい楽曲も日々生まれ続けているので、残りの人生すべてを使って音楽を聴き続けたとしても、この世のすべての音楽を自分でチェックするというのは不可能なわけです。なので、音楽理解技術の力を借りながら、自分好みの音楽に出会える技術が重要になります。
――確かにそれはどんなコンテンツにもありうる問題ですよね。だから最近はこれを見た人はこんなのも見てますとか、あなたのオススメみたいな提案をするシステムってどこにでも搭載されてますね。
後藤：そういうシステムの多くは、協調フィルタリングという技術に基づいています。ただ、その技術は問題があって、人気のある作品ばかりがオススメされやすいんです。つまりまだ誰も聴いていない作品、新人の作品は、それを好きになりそうな人がいたとしても表示されないんです。
これは視聴者にとって好みの楽曲に出会えず、人気の楽曲にさらに人気が集中してしまう問題を生みます。そうするとクリエイターにとっても、せっかく創った曲が、それを気に入ってくれるはずの視聴者に気づいてもらえずに、どんどん良い曲が埋もれていってしまう問題を生むんです。
つまりこれは音楽を聴く側にとっても創る側にとっても、さらには多様で豊かな音楽文化の未来にとっても解決すべき本質的な問題で、しかも、技術の力なしには解決不可能な問題なわけです。
そこで研究開発したのが、音楽発掘のための「Kiite（キイテ）」というサービスです。
これは裏側に音楽理解技術や音楽推薦技術が入っていて、ニコニコ動画にある歌声合成楽曲（ボカロ楽曲）46万曲の中から好みの楽曲を効率よく探索できるというサービスです。
試し聴きするのにも便利なサービスで、Songleで解析したサビだけを次々と聴いていける機能が付いています。ここでも私が約20年前に作ったSmartMusicKIOSKのサビ検出技術が役立っているのが嬉しいです。
――ほんとにどこまでも使える技術ですごいですね。
後藤：この画面で下側のオレンジ色になっている区間がサビですが、沢山の曲のサビの出だしを次々と聴いていって、気に入った曲があれば「いいね」（お気に入りボタン）を押して、後で楽曲全体をゆっくり聴き直すということができます。
本当は最初から最後まで聴いてもらえた方がクリエイターは嬉しいのですが、まったく聴いてもらえないぐらいなら、曲のサビだけでもちょっと聴いてもらって、発掘してもらえる方がよい、というのがこの機能のコンセプトです。
それでも46万曲を全部聴くということはできないですから、自分にあった聴きたい曲を絞り込めるレーダー機能というものも用意しています。
これは音楽の印象を自動解析していて、激しめの曲とか、のんびりした曲というのがレーダー画面の違うエリアに配置されています。例えば、のんびりした曲というエリアをクリックすると、その候補になる楽曲がリストアップされて聴くことができます。
――激しめの曲とかそういう印象はビートなんかを元に推定しているんですか？
後藤：いえ、違います。これは事前に人手でラベリングした音楽の印象を大量に機械学習させて、その学習の結果から音楽の印象というものをシステムが推定できるようになっているんです。ここまでに説明してきたのとはまったく別の音楽理解技術を使っています。なのでこのサービスは印象から曲を探せるっていうのが特長の1つになっています。
他にも、音楽推薦機能、いわゆるリコメンド機能が付いているのも大きな特長で、ユーザーが過去に「いいね」をした曲とかに基づいて、その人の好きそうな楽曲がリストアップされます。これはすごく便利で、そこにさらにサムアップとかでフィードバックをしていくと、どんどんその人の好みに合わせた推薦エンジンが育っていきます。
どうしても今までは、知っている曲名とかアーティスト名を入力して探すとか、ランキングに頼って曲を聴くという場合が多いので、それとはまったく異なる曲との出会い方を実現したかったんです。
――では、この推薦する技術っていうのは、よくサブスクとか通販で使われている協調フィルタリングとは全然違うんですね。
後藤：はい、違います。それだとさきほどもお話した通り、いろんな人が聴いて人気が出た曲だけが推薦されやすくなってしまいます。でもKiiteは人気があるから推薦されるだけではなくて、まだ誰も聴いていないけど、その人が好きな曲調に近い楽曲を音楽理解技術で解析して推薦できるのが特長です。音楽の中身や、自分や他の人がどう聴いているか、同じクリエイターの作品か、とかに基づいて総合的に推薦できるんです。
――じゃあ今日誰かが投稿したばかりでまだ誰も聴いていない曲だったとしても、その人が好きそうなら推薦されるということなんですね。
後藤：そうです。なので、これはクリエイター側にも嬉しい機能になっています。
ただ、いくら優れた仕組みを作っても、コンピュータが推薦してくるものだけを聴くという方法では、人間の自由意志を奪いかねません。なのでこのKiiteでは、推薦は音楽と出会う一手段にすぎなくて、他にもさまざまなやり方で自分の知らない音楽と出会う仕組みを取り入れています。
その1つが2020年5月に公開した「Kiite Cafe（キイテカフェ）」というみんなで一緒に音楽が聴けるサービスです。
この丸いアイコンの1つ1つがKiiteのユーザーで、ここにいる人たちがみんなで一緒に同じ音楽を同じ瞬間に聴いています。そしてここで流れる曲は、集まっている人たちの好きな曲がランダムに再生されるんです。特に、みんなに聴いてもらいたい曲は各自が「イチ推しリスト」としてセットできて、そこから優先的に選ばれます。画面の右上を見ると、誰のイチ推しリストから流れたのかがわかります。
そして、それを一緒に聴いている人たちが、吹き出しのコメントで感想や喜びの声を書き込んで会話ができる機能も付いています。さらには、その曲が気に入って「いいね（ハートマーク）」を押すと、自分のアイコンの右上にハートのアニメーションが出るんです。
ここで自分の好きな曲が流れたときに、他の人たちが気に入ってハートが表示されると、ものすごく嬉しくて感激するんです。これはほんとに衝撃的で、自分で作った曲ではないのに、自分の好きな曲をみんなが気に入って反応してくれる感動は、是非体験してもらいたいです。
――リアルタイムにみんなで共有して聴いているから、その場で生のリアクションがもらえるっていう部分が大きいんですね。
後藤：まさにそうなんです。自分が好きな曲を目の前の人が聴いて、その人が喜んで私も好きって反応してくれる。その輪が広がっていくっていうのが、多くの人の感動を呼んで、このサービスのファンになる人が増えていきました。
Kiite Cafeはもともと、コロナウイルスによってみんなで集まって音楽を聴くということが難しくなってしまった2020年に、私たちも何か貢献できないかと考えて作ったサービスなのですが、みんなで好きな音楽をオススメし合って一緒に聴くという体験が提供できただけでなく、「自分の好きな曲を他の人たちが気に入るまさにその瞬間」を見ることができるという新たな価値を生むことができて、さらには、普通の音楽推薦とは異なる方法で音楽との出会いの場を作れたという点でも、非常に魅力的なサービスだと思っています。
――確かにこのごちゃごちゃっとアイコンが表示される雑多な感じも、クラブハウスにいるみたいで盛り上がりを感じて楽しいですね。
後藤：ですよね。そうしたデザインも含めて、同じチームの石田啓介が中心的にアイデアを出して実装をしているのですが、本当に素晴らしいです。Kiiteの研究開発チームで毎週のように打ち合わせながら、アイデアを出し合って、さらに新しい機能も次々と追加していきました。
例えば、Kiite Cafeを公開してしばらくすると、普通のカフェみたいに、これを使って貸切コラボイベントとかもできないか、ということになりました。そこで、コラボ時間帯だけは選曲をランダムにしないで、プレイリストを決めてライブみたいに盛り上がれる機能を追加して2020年8月から開催しました。
さらに2021年3月には、コラボイベント中だけペンライトを振れる新機能を付けました。しかも、せっかく私たちがやるからには音楽理解技術を使わない手はない、ということで、さきほどのSongleの音楽地図を利用して、曲ごとのテンポに合わせて振る速さが変わるようにしたんです。初めてお披露目したとき、ペンライトを振る速さが変わる！とユーザーがものすごく驚いてくれて、嬉しかったです。
2023年8月には、3周年記念でファンに対する感謝を込めて、さらにペンライトの色も変えられる新機能を付けました。
――研究で公開されている技術がこれだけ大勢を感動させているというのはすごいですね。
後藤：ユーザーの皆さまには私たちも本当に感謝していて、私たちの想像を超えてすごい応援をしてくれているんです。
以前もKiite Cafeファンの皆さまが自発的に「Kiite Cafe宣伝祭」というのをやってくださって、テキストやイラスト、動画のようなさまざまな形で広告とかCMを作って、「よいサービスだからみんな使って」ってSNSで宣伝してくれたんです。事前にはもちろん知らなかったので、本当に驚いて、開発チーム一同、喜んでいました。
「Kiite Cafeユーザーの皆さまが…スゴいんですよ！」
そう熱く語ってくれた後藤さん。
Kiiteの魅力をより多くの人に知ってもらいたい！と、ユーザーの皆さんが自発的に宣伝祭を開催したり、紹介したりしてくれているのだそう。これには後藤さんも大感激…！
なんとも胸アツなエピソードです…🔥 pic.twitter.com/G8VVInGq2w— 産業技術総合研究所（産総研） (@AIST_JP) July 31, 2023
他にも驚いたことはいろいろあって、「マジカルミライ2023」のイベント会場にはいつものようにいっぱい花（フラワースタンド）が贈られて並んでいたんですが、そこになんと、Kiite Cafeファンがお金を出しあって「Kiite Cafeユーザー一同」というフラワースタンドを出していたんです。
あまりに嬉しくて、私も記念写真を撮ってしまいました。
「Kiite Cafeユーザー一同」の皆さまのフラワースタンド！！
皆さまの熱量の高さとクリエイティブさに、いつも感激しています！企画展ステージ前は楽屋にいるのですが、16:30終了後には楽屋から出てくるので、もしたまたまご都合が付く方がいらっしゃいましたら、お会いできると嬉しいです。#Kiite pic.twitter.com/PMLjh5rFBh
— Masataka Goto / 後藤真孝 (@MasatakaGoto) August 12, 2023
――これすごい素敵な話ですね。研究の話を伺っててこんなエモい話を聞くとは思いませんでした。
後藤：今ずっとKiite Cafeの話をしてきましたが、2023年にはさらに、「Kiite World（キイテワールド）」っていう新しいサービスを公開しています。
これはKiiteのユーザーが好みの100曲のプレイリスト（100選）を作ったら、それを自分の「音楽世界」として公開して、お互いに聴くことができるというコンセプトのサービスです。
左下の雲みたいな白い点1つ1つが楽曲で、ランダムに並んでるわけでなくて、さきほどの音楽推薦技術によって、似た好みを持つ人たちが好きそうな楽曲が近くになるように計算されて配置されているんです。
――少し大きい白い丸がいくつもあるのはなんですか？
後藤：これは今アクセスしているユーザーを表示しています。お互いの位置や何を聴いているのかもわかる仕組みです。
さらに、一緒に同期して同じ曲を聴く機能も付いています。この機能を使うと、ピンクの線で結ばれて、一緒に聴いているんだな、ってことがわかります。音楽をイヤホンで聴いてるときに片方貸してあげて一緒に聴くことがあるじゃないですか。そんな感じで、他の人が聴いている音楽に興味があったら、誰でも一緒に聴けるんです。
しかも、日時を決めて呼びかければ、みんなで一緒に音楽を聴くイベントを誰でも気軽に開催できるんです。実は2023年12月にはアドベントカレンダー企画ということで、Kiite Worldのユーザーの皆さまがほぼ毎日そういうイベントを開催してくれていて驚きました。それ以前にもさまざまなイベントが開催されていましたし、1月以降もいろいろなコンセプトで、沢山のKiite Worldイベントを呼びかけてくれています。
――ほんと広がり方がすごいですね。
後藤：多くの皆さまにこうして興味を持っていただけるのは本当にありがたくて嬉しいです。
――これはもうほんとサービスとして成立しているように見えますが、やはり研究の一環なんですよね？
後藤：そうです。私たちはウェブサービスに関連した論文もいろいろと書いて学会で発表してきていますが、例えばKiite Cafeでは論文発表よりも先にサービスを公開して、ユーザーの皆さまが楽しんでいる様子なども含めて後から論文にしています。
――こうした研究は学術的にはどのような評価を受けているんですか？
後藤：受賞や国際論文採択も含めて高く評価していただいていますが、アイデアや技術の新規性だけでなく、実際にサービスを公開してどう使われたかも分析している点が、さらに高い評価につながっているかと思っています。
――なるほど。さきほどからユーザーへの感謝をずっと述べられていますけど、もう後藤さんたちの研究というのは利用するユーザーと一体になって進んでいく研究なんですね。
後藤：とてもありがたく思っています。今回のこの記事もそのきっかけになればと思うんですが、私たちの研究に興味を持ってくれて、ウェブサービスを利用してもらえるのは本当に嬉しいです。また、これをきっかけに音楽情報処理を研究すること自体に興味を持って、未来に一緒に研究分野を盛り上げてくれる人たちが増えてくれると、さらに嬉しいなと感じています。
