バージニア工科大学、国立清華大学、フェイスブックにより、1枚のRGB-D画像を3D画像に変換する新たな手法が開発されました。
以前にも、Facebook 3D Photosといった類似する技術はありましたが、3D変換後に画像がゆがむなど性能面で劣る部分がありました。
しかし、今回の手法は、データのゆがみや処理段階のミスが限りなくゼロに近いとのことです。
研究の詳細は、「IEEE Conference」にて報告されています。
3D Photography using Context-aware Layered Depth Inpainting
https://drive.google.com/file/d/17ki_YAL1k5CaHHP3pIBFWvw-ztF4CCPP/view
https://drive.google.com/file/d/17ki_YAL1k5CaHHP3pIBFWvw-ztF4CCPP/view
二次元写真が3Dに変身
この手法は、ディープラーニング技術を使うことで、入力された画像内の隠れた部分を自動生成する技術です。
例えば、前面に写る被写体に隠れた背景部分などの色や深度（奥行き）を計算し、合成するこができます。
入力画像データは、被写体や背景の形状を3次元点群として管理できる「LDI（Layered Depth Image）」として表示されます。
3次元点群とは、レーザースキャナーなどで物体や地形を点の集合体で表現する手法です。
点の一つ一つは、スキャナーからの相対的な位置情報（xyz）や色の情報を持つので、コンピューター上でデータが扱いやすくなります。
LDIを用いることで、画像内の空間情報がこと細かく把握でき、隠れた領域も正確にinpainting（画像修正）ができるのです。
これまでの3D変換技術も、隠れた領域の埋め合わせを用いていましたが、3D生成後にどうしてもゆがみや乱れが出ていました。
しかしLDIでは、データ処理段階における乱れが最小限に抑えられています。
この手法の有効性は、日常のさまざまなシーンを写した画像の変換で実証されており、他の最先端の技術と比較しても、性能的に優っていると言われています。
その他の3D変換画像や従来の技術との比較動画は、こちらから確認できます。
3D Photography using Context-aware Layered Depth Inpainting
https://shihmengli.github.io/3D-Photo-Inpainting/
https://shihmengli.github.io/3D-Photo-Inpainting/
