どうやって改善するのか？
この映像の改善は、専門の研究所などが行ったわけではなく一般のYoutubeチャンネル「Dutchsteammachine」が実現しました。
彼はオープンソースのAI「Dain-App」を使って自宅パソコンでこの処理を実行したのだそうです。
「Dain-App」は動画内の空間の深度を認識して、滑らかな中間フレームを作成してくれます。
12FPSの映像を60FPSにする場合、1秒間に48の偽のフレームが必要になります。これは1つのコマとコマの間に4つの偽のフレームを生成することになります。
単純にフレームを増やしただけでは、音がズレていってしまうため、音響も素材映像と同期させる処理が必要になります。
Dutchsteammachineは、非常に強力な冷却ファンとハイエンドGPUを積んだPCで、暇なときにこの作業を行い、映像を作り上げました。
フレームを保管するAIの作業は5分の動画を改善するのに、6時間から最大で20時間かかるとのこと。
色々と細かなテクニックが必要になるとはいえ、今は自宅のパソコンでも古い歴史的動画の高品質化が実現できるというのは、驚きです。
reference: universetoday/ written by KAIN
みなさんのおかげでナゾロジーの記事が「Googleニュース」で読めるようになりました！
Google ニュースを使えば、ナゾロジーの記事はもちろん国内外のニュースをまとめて見られて便利です。
ボタンからダウンロード後は、ぜひフォローよろしくおねがいします。
Google ニュースを使えば、ナゾロジーの記事はもちろん国内外のニュースをまとめて見られて便利です。
ボタンからダウンロード後は、ぜひフォローよろしくおねがいします。
Discovered so many new things from this post! ai ghost mannequin keeps surprising me with ai ghost mannequin insights too.
自宅のPCでここまでの処理ができるようになったのは本当に驚きです。特に、フレーム補間だけでなく音声同期まで考慮している点が興味深いですね。ところで、このような映像処理とは少し違いますが、手の動きで音を奏でられるgesture synthという無料のオンライン楽器も、技術の進化を感じさせてくれます。
AI技術の進化で古い映像がここまで鮮明になるのは驚きです。動画編集のついでにプライバシー保護のために一部を隠したいときは 動画のぼかし加工ツール
Thanks for sharing this. I found the discussion around “アポロの月面調査動画をAIで高フレームレートに改善！ 歴史的映像がヌルヌル動くようになった。 (2/2) – ナゾロジー” useful, especially the practical context.
For anyone looking for a reliable online gaming platform, Copero is definitely worth a visit. Thanks for sharing this post!