「ソニー独自の３DCG生成技術のバーチャルプロダクション」を用いて撮影されたというOoochie Koochiの楽曲『ショーラー』のミュージックビデオ。吉川晃司と奥田民生って同い年なんだと思いながら、二人のゆかりの地を巡るMVを楽しみ、その制作の裏側を見せてくれるイベントに参加してみたのですが、度肝抜かれました。
取材・文●編集部 おかぽり
ソニー独自の３DCG技術を使ったバーチャルプロダクションとはいかに
現在、バーチャルプロダクションには大きく分けて2つの手法があります。ひとつは「インカメラVFX」と呼ばれるもので、背景アセット（背景を構成する画像データ）に3DCGデータを用いる方法です。カメラトラッキング（追従）によって背景と連動させることで、バーチャルとリアルを一つの3次元空間として撮影することができます。もうひとつは「スクリーン・プロセス」と呼ばれるもので、背景アセットに2Dプレートデータ（実写で撮影された映像や写真）を使用する手法です。実際の映像素材を使うため、高いリアリティを担保できます。ただ「インカメラVFX」はアセット制作に時間がかかるという課題があり、「スクリーン・プロセス」にはカメラワークに制約が生じるという弱点がありました。
今回、ソニーが提案する新しいバーチャルプロダクションは、独自開発した3DCG生成技術を活用することで、この両者の利点を兼ね備え、3次元空間の自由度と実写的なリアリティを両立させることが可能となったというんです。
まずは、ソニー独自の３DCG 生成技術について。その特徴は3つあります。
①画質：高精度でノイズの少ない３DCG品質
独自開発の「NeRF/3DGS」（Neural Radiance Field/3D Gaussian Splatting） により、複数の写真からAI技術で3次元形状を計算し、3DCGを生成できるという。こちらをベースに3DCG生成すると写真に近い自然な表現ができ、とくに光を反射や透過する窓ガラスなどを再現しやすくなっている。
②表現力：映像制作に重要なHDR表現やぼけ再現に対応したレンダリング
Unreal Engine用のプラグインを独自開発。独自のレンダリング技術で階調やディティールも忠実に再現できるという。黒つぶれや白飛びを防ぎつつ、輝度・色を柔軟に調整でき、HDRにも対応している。また、3次元的なボケを再現したり、連続的なボケを調整可能になっている。
③制作スピード：誰でも簡単に短時間でフォトリアルな3D背景を得ることができる
独自のツール群により背景アセット制作をアシストし、制作時間短縮ができ空いた時間で作品クオリティ向上できる。
- 撮影・・・100〜200枚の写真を「撮影ナビアプリ」でアシストしながらスチルカメラで撮影
- 生成・・・「NeRF/3DGS」を使って3DCG制作を行う
- 編集・・・「独自のUEプラグイン」を使ってオンセット編集・調整
- ※従来のフォトリアル背景アセット制作では数ヶ月単位かかる工程が各一日ずつ
- 撮影・・・「独自のUEプラグイン」を使ってLEDステージに表示、VP撮影を行う
「清澄白河BASE」で再現された“広島の風景”
さて、このビッグネームたちのスケジュールを確保し、実際に広島へ赴き、ゆかりの場所を巡りながら撮影することは、安全面・コスト面のいずれにおいても実現のハードルが高い今回の撮影。しかし、この新しい３DCG 生成技術とVPスタジオを用いることで、実際には広島県内のゆかりの場所11シーンの背景CGの素材撮影、スタジオにて送出テストまでを12日間（所要時間は計247分）、VPスタジオ内での撮影自体は約3時間で完了したそうなのです。
つまり、今回のMV、私が今このお話を聞いている空間でのみで撮影されていたのです！ 制作の裏側が分かった段階で、もう一度ミュージックビデオを見てみましょう。
素材撮影のフローは以下と通り。
①背景位置を決める→②演者の位置を決める→③カメラの位置を決める→④「撮影ナビアプリ」を設定する→⑤背景の中央を決める→⑥キャリブレーションボード、カラーチャートの撮影→⑦リファレンスの撮影→⑧背景素材の撮影
先程も紹介した「撮影ナビアプリ」を通して、清澄白河BASEのLEDラウンド面が現実空間に重なるかたちで確認できる。これによりアングルハンティングが可能になるのです。
また、素材撮影に必要な体制としては、①撮りたい構図、演者の立ち位置、アングルを想定する監督orカメラマン、②PM（ロケーションコーディネーター）、③撮影者（ソニーPCL）、④VPスーパーバイザー（ソニーPCL ※必要であれば）の最小3〜4名で実施が可能。実にコンパクト。
実演では、背景アセットの前に佇むモデルさんを映した映像をディスプレイで見るとロケしてるのかなと錯覚してしまいました。Mazda Zoom-Zoom スタジアムや黄金山から広島の町並みを堪能でき、ちょっとした旅行気分も味わえました。
ソニーの提案 クリエイティブのこれから
日本国内におけるバーチャルプロダクションスタジオ数の拡大しており、「小規模案件や一部カットだけにVP撮影を取り入れたい」 などの撮影ニーズも多様化しています。しかし、現状では大型スタジオでの大規模な撮影でしか実現できず、結果、コストや人員が嵩み、スケジュールの確保が課題になっています。「ニーズにフォットするVPステージという新しい選択肢を提供したい」という開発者の意図は、ソニーの開発チームと連携することで、アセット撮影からスタジオ出力に渡って、一気通貫のサービスを提供できることの強みとしているのです。
このソニー独自の3DCG生成技術を活用した背景アセット特別定価で制作できる、BACKDRROP LIBRARYキャンペーンを実施中です。対象期間は、2026年3月31日まで。ソニーPCLのBACKDRROP LIBRARYへの写真提供が条件になっています！