360度映像で聴きたい“音”にズーム、KDDI「音のVR」が持つ新たな体験価値は？

KDDI総合研究所が独自に開発した音響技術「音のVR」をご存じだろうか？ スマホでVR映像を見ながら、周囲360度の音が楽しめるだけでなく、「映像と音にズームできる」という画期的なインタラクティブ視聴体験を実現する技術だ。

2018年にスマホアプリに組み込まれて話題を呼んだ「音のVR」に、再び画期的な新規コンテンツが追加された。

新型コロナウイルスと上手に共生する手段を模索しなければならない時代に、アーティストが作品を発表したり、ファンとつながる新しいプラットフォームとして、「音のVR」には豊かな可能性がありそうだ。KDDIで「音のVR」の技術開発を担当するKDDI総合研究所の堀内俊治博士と、同じくKDDIで新技術を活用したマーケティングを担当する宮崎清志氏を訪問し、詳細を聞いた。

■斬新な「演奏者に近づいて音を聴く」体験

まずは「音のVR」の最新コンテンツがどのようなものか体験してみたい。対応する端末はiOS 13以上を導入したiPhone/iPod touch、iPadOS 13以上のiPad。Android OSには現在対応準備中だ。コンテンツは、端末にダウンロードしてオフライン再生できないため、データ通信量の消費を抑えるならWi-Fi環境でのストリーミング視聴をおすすめする。

アプリをダウンロードして開くと、上から順に新しい3つのコンテンツが揃っている。

一番下に並ぶのは東京混声合唱団による「卒業合唱曲」。「旅立ちの日に」「大地讃頌」など5つの定番卒業ソングを今年の3月中旬から配信開始している。本件は新型コロナウイルス感染症の影響が拡大する前に製作されていたため、合唱団を集めてホールで生録音を行った。ほか2件は、複数の演奏者が自宅等で個別に収録したコンテンツを集めて構成した「リモート演奏」の作品だ。

それぞれのコンテンツごとに作り方は少し異なるものの、アプリによるユーザー体験はおおむね共通している。

合唱曲はソプラノ、アルト、テノールにバスなど演奏者の映像にピンチインズームすると、同時に音も各パートの声だけが鮮明に聴ける。カメラを向ける視線を切り換えたり、音声のズーミング操作などインタラクションのレスポンスはとても小気味よい。前方から後方へ音がまわりこむような体験から、あたかも「その場にいるような臨場感」が得られるだけでなく、通常であれば録音現場にいてもなかなか難しい「演奏者に近づいて音を聴く」というレアな体験に出会えるところが「音のVR」の斬新さだ。

対応するAppleデバイスを持っていれば、アプリは無料で楽しめる。ぜひ一度試してほしい。

■スマホで臨場感あふれる映像と音のVR体験を実現するKDDIの技術

「音のVR」はKDDI総合研究所が独自に開発した音響技術であり、既存のイマーシブオーディオフォーマットやバイノーラル録音技術が、そのまま使われているわけではない。

堀内氏は「サラウンド録音から、スマホで聴くためのステレオ音源を作り出す過程のミキシング技術には、バイノーラル録音の重要な一要素である両耳間時間差のアルゴリズムを組み込むことにより、ヘッドホンリスニングによる没入感を作り出しています。聴きたい音に近づく体験は、不要な音を消し込む技術をあわせて載せました。全体を『音場の選択的合成技術』と呼んでいます」と、技術の核心部分を説明する。

なおコンテンツの映像には、オリジナルが8Kのものと4Kのものを用意。スペックが高い製品にはHEVCコーデックで記録された8K映像をストリーミングする。スマホ側ではディスプレイの解像度に最適化してこれを表示する。オーディオのファイル形式はAAC/192kbps。「可逆圧縮のロスレスフォーマットによる配信もできるように準備は進めてきましたが、ストリーミングの負荷を考慮して、当初はロッシーながら、“音のVR”体験が十分に高い品質で味わえる形式を比較検討して決めました」と堀内氏は語る。