染瀬直人の 360°VR VIDEO WORLD Vol.4 Google JUMPシステムで3DVR映像制作日記


第4回「Google JUMPシステムで3DVR映像制作日記」
写真・文●染瀬直人

写真家、映像作家、360度VRコンテンツ・クリエイター。日本大学芸術学部写真学科卒。360度作品や、シネマグラフ、タイムラプス、ギガピクセルイメー ジ作品を発表。VR未来塾を主宰し、360度動画の制作ワークショップなどを開催。Kolor GoPro社認定エキスパート・Autopano Video Pro公認トレーナーYouTube Space Tokyo 360度VR動画インストラクター。http://www.naotosomese.com/

※この連載はビデオSALON2017年2月号より転載

GoogleのVRコンテンツプラットフォーム「JUMP」によるVR制作のワークフロー

Google JUMPでのワークフロー。対応カメラで撮影し専用クラウドにアップすると自動で3DVR映像をステッチしてくれるのが特徴。

国内最大の国際放送機器展Inter BEE 2016が、昨年の11/16~18まで幕張メッセで開催されました。筆者はインテル×アドビ共同ブースでVRに対応したPremiere Pro CC 2017のプレゼンテーションで連日ステージに登壇しました。

アドビシステムズからのリクエストは「立体視の360度実写VRをテーマにして、その魅力を作品を通じて紹介してほしい」ということ。しかし、3D撮影機能を実装するVRカメラはまだ限られています。今回のアドビプロジェクトでは、ノキアのOZOやiZugarを紹介しながら、GoogleのJUMPシステムをメインに使用しました。

撮影場所は増田セバスチャン氏プロデュースによる怪獣の体内をイメージした原宿のカフェ「KAWAII MONSTER CAFE」をはじめ、3D映えする空間を重点に選定しました。また、これからの実写VRを追求する上で、もう一つの重要なテーマが空間音声です。これを実現するために同じく原宿の「CANDY A GO GO」というとても内装の凝ったキャンディ・ショップで複数の店員さんに出演してもらったり、「Pepperアトリエ秋葉原 with SoftBank」で人型ロボットPepperをたくさん配して、全方位から音声が飛び交う状況を設定しました。

16台のGoPro HERO4を円周上に配置したリグOdysseyで撮影

撮影はOdysseyで。ゲンロックで各カメラの同期が取られており、プライマリーカメラの録画ボタンを押すと、その他のカメラも録画を開始する。Odysseyでは撮影時に映像をモニタリングできないため、リグの中心にリコーTHETAやサムスンのGear 360などのカメラを配置してプレビューした。視差によるステッチエラーをなくすためにはカメラから1m以上離れた位置に被写体を配置させること。格子状など規則的な模様の被写体はステッチエラーを起こしやすいので注意。

JUMPはGoProのHERO4を16台円周上に配置したリグ「Odyssey」を使用して撮影します。Odysseyは現状ではまだ出荷台数が少なく、使用するためにはGoogleとGoProの審査が必要です。プライマリーカメラから、シャッターはもとより、各種設定をその他のすべてのスレーブカメラへ連動させることと、ゲンロックで完全に同期して撮影する仕組みは6台用のリグ・GoPro OMNIと同じです。

各カメラに給電するバッテリーユニットSwitronix Hypercine。Vマウントバッテリーを3つ使用した。

立体音響収録用のVRマイクやレコーダーも

写真左は空間音声用マイクCore Sound TetraMic。右はGoogle JUMPの立体音響に対応し、前後左右4chの音声を収録できるズームのリニアPCMレコーダーH2n。

撮影後はGoogleのクラウドAssemblerにアップして、ステッチングは自動で行われます。これにはGoogleが認証したアカウントが必須で、Jump Managerというアプリ(Macのみ対応)を使い、多ポートのUSBハブにmicroSDカードを8枚ずつ2回に分けて、Macにコピー、そこからサーバーにアップするというプロセスとなります。ちなみにコピーするUSBハブは、この時とても熱くなります。

アップするのに数時間かかり、アップ後のステッチングはフッテージの総量やサーバーの混み具合によりますが、3時間~1日以上かかるので、その間は気長に待つことになります。最大8K相当の動画にレンダリングできますが、4Kやさらに小さいサイズを選択することや、スムーズに編集するのに有用なプロキシの生成も可能です。

ステッチングが出来上がると完了を知らせるメールが届き、再びJUMPマネージャーを用いてダウンロードすると「トップアンドボトム方式」の3D360度映像の完成です。JUMPの特徴は任意視点補完のアルゴリズムによる高度な3D効果とスムーズなステッチです。

そして、ダウンロードした素材をPremiereに読み込み、VRとしてプレビューしながら編集をしていくという訳です。サウンドについてはズームH2nなどの空間音声(Spatial Audio)対応のマイクを使用して収録、Premiere上で映像とシンクロさせました。空間音声を実装させるにはQuickTimeとして書き出す必要があり、MacとWindowsマシンでは書き出せるコーデックが違うので少々注意が必要です。

専用クラウドへのアップロードソフトはMacのみの対応

Laxor Professional Workflowを使って、MacBook Proに16枚のmicroSDカードに収録したデータを8枚ずつ2回に分けて転送した。

 

Google JUMP専用クラウドAssemblerへのアップロードに使うMac専用アプリJump Manager。ステッチしたい映像を選択して、「New stitch request」をクリック。

 

Assembler上でステッチされた3D 360°VR映像。3Dはトップアンドボトムの形式で上下に配置される。

 

編集環境

編集を終えると書き出し設定で「VRビデオとして処理」にチェックを入れ、「立体視(上/下)」を選択して、レンダリングします。完成した映像は「360度動画であること、3Dであること、立体視であること」を示すメタデータをPremiereと、Spatial Media Metadata Injectorによって付加してから、YouTubeにアップしました。アップ後、3D360度動画として視聴できるまでに数十分かかりますが、スマホのYouTubeアプリ(空間音声はバージョン4.2以降のAndroid端末のYouTubeアプリで聴けます)とカードボードなどのVRゴーグルで空間音声付きの3D360度VR動画として視聴できます。

編集では、ステッチ後の映像のカット編集の他、テロップや立体音響で収録した音声データとの同期を行なった。JUMPシステムでは最大8K解像度のVR映像のレンダリングが可能だが、8Kをクラウドで生成するのはかなりの時間とその後の編集もマシンの高いスペックを要する。今回はYouTube Spaceに設置された4K編集システム(Mac Pro)と、自身の高スペックのWinのマシンを併用して編集を行なった。