染瀬直人の 360°VR VIDEO WORLD Vol.7 空間音声とは何か?


第7回 空間音声とは何か?
写真・文●染瀬直人

写真家、映像作家、360度VRコンテンツ・クリエイター。日本大学芸術学部写真学科卒。360度作品や、シネマグラフ、タイムラプス、ギガピクセルイメー ジ作品を発表。VR未来塾を主宰し、360度動画の制作ワークショップなどを開催。Kolor GoPro社認定エキスパート・Autopano Video Pro公認トレーナーYouTube Space Tokyo 360度VR動画インストラクター。http://www.naotosomese.com/

※この連載はビデオSALON2017年5月号より転載

 

空間表現であるVRにとっては映像だけではなく、音響の要素が重要なことは言うまでもありません。没入感を追求する時、五感のすべてを再現できたら良い訳ですが、まず映像と切り離せないものとしては音となりますね。

しかし、サラウンド、立体音響、バイノーラル、頭部伝達関数(HRTF)、アンビソニック、空間音声、Aフォーマット、Bフォーマット、DAW(デジタル・オーディオ・ワークステーション)…などいろいろな用語があり、混乱しがちです。

360度VR動画と合わせて注目されている空間音声

 

 

 

 

◀︎空間音声(Spatial Audio)は360度VR映像と組み合わせると、視聴者の視点の移動に合わせて、音の聞こえてくる方向も変わる録音方式。映像と音が組み合わされることでより臨場感のあるVR映像が実現できることで注目を集めている。

空間音声とは何?

空間音声とは何でしょう? Spatial Audio を直訳したものと思われますが、VR の映像と音像の位置関係が一致し、視聴者の視点の移動(ヘッドトラッキング)に伴って、その方向の音が聞こえるというもの。

YouTube は2016年4月、360度ライブ配信とともに空間音声をサポートしました。バージョン4.2 以降の  Android 端末の YouTube アプリ、または Chrome、Firefox、Opera、Edge のパソコン向けブラウザからヘッドフォンやスピーカーで空間音声を聴くことができます。

Facebook も空間音声を開発していた英の Two Big Ears を買収、昨年5月に空間音声作成ソフトウェア「Facebook 360 Spatial Workstation」を無償で公開しています。

またGoogleはウェブサイト内で空間音声を実装できる「Omni Tone」を GitHub でオープンソース化しています。

一方、昔から馴染みのある用語のバイノーラルの原理とは、録音時と聴く時の状態を近づけるために、人の耳や、頭部を模したダミーヘッドなどにマイクを仕込んで録音し、臨場感を得るという立体音響の一種です。3Dio社のバイノーラルマイク Free Space は、耳を忠実に再現した形のユニークな構造となっています。中でもFree Space Omniは4方向に両耳が配置されていて、360度のバイノーラル録音を実現するものです。

空間音声収録に対応する製品も徐々に増えてきた

▲(左)ゼンハイザーAMBEO VR MIC  (中)ズームH2n  (右)ロードVideomic Soundfield

各社からVRマイクが登場

VR元年を経て、VRマイクも各社様々なものが登場してきました。ズームH2n は市中で1万円台で購入できる安価なコンパクトレコーダーですが、バージョン2.0のファームアップから空間音声に対応しました。H2n の Spatial Mode では、マルチチャンネルWAVファイルの4チャンネルの音声をひとつのファイルに記録します。Google JUMPシステムへの対応も謳っており、Odyssey の GoPro 16台の円形のマルチカメラアレイの中心に配置して使用することもできます。

ゼンハイザーは2月24日に、昨年の Inter BEE にも出品したアンビソニック方式の AMBEO VR MIC を発売しました。これは4つの単一指向性のカプセルを持ち、360度のサラウンド収録が可能です(Aフォーマット)。 無償のプラグイン「AMBEO A-B フォーマットコンバーター」により、アンビソニックのAからBフォーマットへ変換後、ポストプロダクションで空間音声を実装させます。アンビソニックとは70年代に発明された立体音響の技術で、VR時代に再び陽の目を見ました。

また昨年 CORE Sound-Tetramic のサウンドフィールド社を買収したロードは Videomic Soundfield という新製品を年内に発売する見込みです。こちらも4つの単一指向性のマイクにより360度の全方向の音を収録。マイクの指向性に3つの選択肢があるという特徴があります。

このほか、Twirling720 や Eigenmike などもアンビソニックのVRマイクとしてあげられます。

 

空間音声収録に対応する製品も徐々に増えてきた

▲(左)GoPro OdysseyとズームH2nを組み合わせて、空間音声の収録を行なった。(右)三脚についているのはCORE Sound-TetramicとH2n。収録時はカメラとマイクの方向を一致させる必要があり、セッティングにはコツがいる。

 

私もOdysseyの撮影の際に、CORE Sound-Tetramic やズームH2n を使用して集音、Adobe Premiere Pro で360度VR動画に空間音声を同期させました。これには書き出しの設定をQuick Timeとして扱う必要があり、 Spatial Media Metadata injector というソフトで Spatial Audio としてのメタデータを付加してから YouTube にアップロードをすることになります。

その他、Pro Tools などの DAW で、プラグインとして空間音声ファイルを扱える 360pan suite(360panや360monitor)といったツールも登場してきています。

空間音声は基本的に収録時にマイクとカメラの方向を一致させた状態で記録する必要があります。

また360度VR動画の場合、マイク自体が映り込んでしまう問題がありますが、VRサウンドワイヤレススピーカーpaveや、CES2015年イノベーターアワード受賞の DOMINO/2MIC などを手がけるcearプロダクツの共栄エンジニアリング株式会社は、VRカメラの邪魔にならない超小型のVRマイクを開発中で、私の主宰するVR未来塾の勉強会でも試作機が披露されました。

今後は8つのマイクを内蔵する NOKIA の OZO のように立体音響の機能を実装したVRカメラも増えていくことが予想されます。VRは音響の世界にとっても無限の実験場なのです。

◆この記事はビデオSALON2017年5月号より転載