＜NHK技研公開＞30K360度カメラと半球スクリーンのイマーシブ体験／世界初のマルチレイヤー対応VVCリアルタイムエンコーダー開発

NHK放送技術研究所（NHK技研）が最新の研究開発成果を一般公開するイベント「技研公開2025」が、5月29日（木）から6月1日（日）まで開催される。これに先立ち、5月27日にプレス向け公開が行われ、様々な最先端技術が披露された。本稿では、その場にいるような世界を体感できる「イマーシブメディア」に関連する展示について紹介する。

30K360度カメラと半球表示装置によるイマーシブメディア体験

新たなイマーシブメディア体験として、画素数30Kのカメラで撮影した360度映像を、画素数15K相当のプロジェクターで半球スクリーンに投影した体験デモブースを用意。ヘッドマウントディスプレーなどのデバイスなしで360度映像による没入感のある体験が味わえる。

カメラは、ITU-R勧告 BT.2123に規定される画素数30Kで360度映像を撮影できるカメラを開発。どの方向でも高い解像度で撮影できるよう9×7画素の要素カメラ6台で構成される五角柱型となっており、いずれも緻密に計算された26.5度の角度で配置されているのだという。

そして8Kの表示素子を用いて、フレームごとに投影映像を斜めに半画素ずらすことで15K相当の映像を表示できるプロジェクターを開発。今回は撮影映像の180度分を半球型のスクリーンに投影し、60Hz時で30Kの映像表示を実現していた。

サウンド面では19チャンネル分のスピーカーが半円を囲むように設置されており、ちょうど真ん中の位置で聞いた際に色んな方向から音が聴こえるような配置を行ったとのこと。本ブースではジェネレック製のスピーカーが使用されていた。

今後の取り組みとして、2027年度までにさらにコンパクトで実用的な30K360度撮影システムの開発を予定していると説明する。そのほか、30K360度カメラで撮影した映像コンテンツを16面の湾曲型4K有機ELディスプレーで表示させたブースも用意されていた。

ボリュメトリック音声制作技術を開発

NHK技研は、多視点カメラを用いて被写体の3次元形状や質感を取得し記録した「ボリュメトリック映像」を制作する「メタスタジオ」を開発。これまで、それら映像制作を支援する「ボリュメトリックモニター」や、映像をリアルタイムで描写する技術など、現行ボリュメトリック制作の課題に向けた技術を紹介してきた。

今回の技研公開では、映像に加えて新たに被写体（音声オブジェクト）の持つ音声の放射特性も取得し、さまざまな位置・向きで聞いたときの聴こえ方を再現する音声制作技術の開発について紹介する。

具体的には、メタスタジオ内に音声オブジェクトを取り囲むように配置した「マイクロホンアレー」により、さまざまな方向へ伝播する音波を収音し、放射のパターンを表す基底に展開。これにより、さまざまや向きに応じた聴こえ方をクリーンに再現することができるという。

このマイクロホンアレーは計82基設置されており、加えて音声オブジェクトの近くにマイクを設置したオンマイクで集音した音声によって、音声オブジェクトの放射特性を推定する技術を開発したとのこと。

また話者の声については、映像への映り込みを避けつつ、衣服に仕込むときに生じるケーブルと衣類のこすれ雑音に強い「ラベリアマイクロホン」を用いて収音する。

そして、取得した放射特性に基づいて聴取位置・聴取範囲近傍の音場を推定し、音の聞こえ方を再現するレンダリング方法を、スピーカーアレーおよびヘッドホンそれぞれ開発した。

スピーカーアレーによるレンダリング技術では、放射する音波を平面波に展開し、この平面波の重ね合わせにより放射特性を再構築して再生する。ヘッドホンでは、聴取位置に到来する音波に変換し、頭部伝達関数との積分により両耳位置の音圧を計算して再生する仕組みとなっている。

ブース内では、このボリュメトリック音声制作技術を用いて収録された演奏コンテンツを、スピーカーアレーとヘッドホンそれぞれで試聴できる体感ブースが用意され、各演奏者の近くや後ろなど向きに応じた音声が聴こえるさまを確認できる。

現時点ではまだ映像との同時収録の実現には至っていないとしており、今後は2027年を目標にボリュメトリック映像との一体制作を試行していくとのことだ。

世界初のマルチレイヤー対応VVCリアルタイムエンコーダー開発

番組やスポーツ中継などで、手話映像や字幕映像、スポーツ番組での特定のチームに注目した映像などを、視聴者の選択によって受信機で上乗せ表示させるサービス「サブコンテンツ」の実現に向けて、複数の映像を効率的に圧縮する最新の国際標準の映像符号化方式VVC（Versatile Video Coding）のマルチレイヤー符号化の放送への導入検討を進めている。

マルチレイヤー符号化は、複数の映像を符号化する際、それぞれの映像を基本レイヤーとその拡張レイヤーで構成される層状の映像として扱い、各レイヤー間の類似性を利用して符号化効率を向上させる技術。しかし、これまではエンコード処理にかかる演算量が多く、マルチレイヤーに対応し、かつリアルタイムで動作するエンコーダーは実現できていなかったとする。

そして今回、上述のVVCに準拠し、新たにマルチレイヤー符号化技術に対応したリアルタイムエンコーダー（映像符号化装置）が開発された。すでにVVCに準拠するリアルタイムエンコーダーは存在していたが、マルチレイヤー対応のVVCリアルタイムエンコーダーの実現は世界初としている。

従来の放送では、メインコンテンツとは別にサブコンテンツを上乗せしたコンテンツを放送するには、総合テレビでは通常の中継、Eテレでは手話付き中継を放送するなど複数のチャンネルが必要になるという課題があった。

今回開発されたマルチレイヤー対応のエンコーダーを用いることで、1つのチャンネルでサブコンテンツを放送することが可能になり、視聴者側が中継映像のみ、もしくは中継映像＋手話などサブコンテンツの有り無しを自由に切り替えて視聴することができるようになった。

一般的なマルチレイヤー対応エンコーダーでは、基本レイヤーに加えて、サブコンテンツが上乗せされた状態の拡張レイヤーを入力する構造としており、複数の映像を同時に処理するため従来のエンコーダーに比べて処理量が多く、リアルタイム動作の実現が課題であったと説明する。

今回の新エンコーダーでは、基本レイヤーのデコード映像を用いてエンコーダー内部で拡張レイヤーを生成する方法により、サブコンテンツが上乗せされている画像領域以外において基本レイヤーと拡張レイヤーが同一となり、拡張レイヤーをエンコードする際に多くの画像領域で符号化処理が不要になった。これによりレイヤー間の類似性を高めて演算量が削減され、今回リアルタイムエンコーダーの実現に至ったと明かした。

今後の展開については、マルチレイヤー符号化をサポートした次世代放送規格が策定され、今後の放送の高度化の議論の中で本技術の導入が検討される予定だとしている。

次世代地上放送のプログラム多重・伝送技術

4K地上放送の実現に向けて、次世代の地上放送高度化方式を伝送方式とする放送方式「ISDB-T3」の研究を進めており、今回このISDB-T3において現行の地上放送より周波数を効率的に利用して放送ネットワークを構築するためのプログラム多重・伝送技術を紹介している。

ISDB-T3に対応するIPベースの再多重化方式として、MPEGが制定する放送や通信など多様な伝送路でのメディア配信に適したメディアトランスポートの標準規格「放送MMT」を開発。複数の4Kプログラムを1チャンネルに多重して送信することで、チャンネルを効率的に利用できるとする。

放送MMTでは、プログラムのデータとあわせて送信所ごとの送信タイミングを制御する情報を伝送する。複数の送信所が同一の放送波を生成し、制御情報に従った送信タイミングで電波を発射することで、現行の地上放送と同様の単一周波数ネットワークSFNを構築できると説明した。今後の予定としては2025年度中に実証実験を実施し、実用化を目指していくとしていた。