▲制作途中段階のポイントクラウド（左）、3D Gaussian Splattingで出力した空間を撮影（右）を合成

 

株式会社stuは、AIを用いたフォトグラメトリ技術の発展形になる「3D Gaussian Splatting」の実証実験の研究を開始したことを発表した。

同技術により、従来のフォトグラメトリ技術では不得意とされていた質感の表現が可能になり、WebGLと組み合わせることで手軽にWEBブラウザ等で利用可能になった。

 

「3D Gaussian Splatting」の商用化実現を目指す背景

stuはデジタルツイン技術をさらに推進するために 「3D Gaussian Splatting」による実証実験を開始。同技術は、現実世界の『デジタルツイン』と呼ばれる、デジタルで再現されたフォトリアリスティックなバーチャル空間を作ることが可能。

これまでも同社はフォトグラメトリ技術を基に構築した『デジタルツイン』の実績があり、今回の「3D Gaussian Splatting」の実証実験では、AIを活用することでこのフォトグラメトリ技術をさらに進化させたといえるという。

 

独自のリアルタイムレンダラーを自社開発

また、合わせて同技術に最適な独自のリアルタイムレンダラーを自社開発し、WebGLによるビューワーから誰でも手軽に体験できるようにした。

下図のように、プロ用ではないスマートフォン等で撮った簡易的な動画から、簡単に３Dシーンを構築し、すぐにWEBブラウザから自由に操作して、３Dシーンを見渡すことが可能。

▲スマホで撮った動画

▲Webビューワー

▲ドローンで撮った動画

▲Webビューワー

▲スマホで撮った動画

▲Webビューワー

 

「3D Gaussian Splatting」を選定した利点

3D Gaussian Splatting とは動画から3Dシーンを再構成する、2023年8月に発表されたばかりの新技術。同様の技術にフォトグラメトリ・NeRFがあるが、3D Gaussian Splatting はフォトグラメトリでは苦手だった反射の多い質感などを表現でき、NeRFよりも描画負荷が軽量である点が「3D Gaussian Splatting」の利点だとしている。

 

「3D Gaussian Splatting」の活用

3D Gaussian Splattingを用いると、写真を撮るような手軽さで現実世界の空間を3Dシーンで再現できる。

①作成した3Dシーンをメタバースへ活用
撮影したデータをメタバース空間へ取り込み、メタバース空間にリアリティをもたらすことが可能。現実世界のデジタルツインをバーチャルに持ち込むのに有用。

②作成した3Dシーンを使ったバーチャルロケハンとして活用
撮影ロケ地で撮影した動画を３Dシーンにすることで、現場ではロケハンが不要。３Dシーンから、PC上でさまざまなカメラアングルのアプローチが何度でも検討可能。

③作成した3Dシーンを3Dバーチャルデジタルフィギュアとして販売
アーティストのライブや新曲に合わせて、アクリルスタンドのように3Dデータを販売することができる。好きな角度からアーティストを何度でも閲覧でき、MVやライブで実際に使用した美術セットを背景にできる。

▲撮影イメージ

 

4D Gaussian Splatting」への期待

同技術は今後、3D Gaussian Splattingに時間軸を追加した「4D Gaussian Splatting」の発展が期待できるという。時間によって変化する空間を自由に歩き回れるため、360度動画などの既存の技術と違い、自由な視点での映像体験が可能な点が新しい特徴だとしている。

例えば、本技術では前章に記述の通りアーティストの「バーチャルデジタルフィギュア」の販売が可能だが、これを「空間ビデオ」にすることで、アーティストの歌っている「バーチャルライブフィギュア」というような新しい形が可能となるという。自分の好きな角度から、歌っているアーティストのライブシーンを自由に見ることが可能にもなる。

また、すでに同社ではフォトグラメトリにおいての実例が多数あり、これまで手掛けているさまざまな３D技術と「3D Gaussian Splatting」へのスムーズな応用が可能。例えば「3D Gaussian Splatting」で作成した３DシーンにVFX演出を加えたMV制作やプレビズ、ライブ制作や、キャラクターの演出を加えたバーチャル世界でしかできないイベント、エンタメ分野以外でも商品カタログのバーチャルワードローブやバーチャル店舗、資料館のデジタルツインなども可能。

 

stuのAI・機械学習の研究開発

stuでは、エンターテイメント領域でのAI・機械学習の研究開発に取り組んでおり、映像制作のプロダクション行程のDX化や、AIを用いた新しい体験の提供などを目指しているという。

また、AIによる新たな可能性を常に模索しており、今後も企業や、さまざまなプロジェクトへの技術提供に積極的に取り組んでいくとしている。

 

株式会社stu
https://stu.inc/