＜NHK技研公開＞“自然な3次元視聴”を実現するVRデバイス／メタデータ付与による放送連動ARストリーミングなど

NHK放送技術研究所が研究・開発している最先端技術を一般公開するイベント「技研公開2022」が5月26日から5月29日まで開催される。これに先立ってプレス向け公開が行われ、テレビに関連する様々な最新技術が披露された。本稿では、“自然な3D映像”を再現するVR技術や、イマーシブメディア関連技術についてレポートする。

“自然な3次元視聴”を実現するVRデバイス

従来のHMD（ヘッドマウントディスプレイ）における、不自然な視差知覚による視覚疲労を抑制し、自然界での目視同様に焦点位置を無意識に調整できるとする「ライトフィールド・ヘッドマウントディスプレイ」のデモ体験が実施された。

原理としては、小さなレンズを多数並べた「レンズアレー」をディスプレイの前に配置し、ディスプレイには個々のレンズに対応する小さな被写体の映像（要素画像）を表示。これにより、実世界同様に被写体の奥行方向の位置に応じた焦点位置の調整を実現したという。

本技術の開発において大きな課題になったというのが、筐体のサイズだ。レンズアレーと接眼レンズの間に生成させる3次元映像を、接眼レンズによって拡大して見ることが可能となった反面、これを実現するための光学系の搭載により、筐体の奥行寸法が大型化してしまった。

そこで、3次元映像をディスプレイの外側に虚像として形成させる小型の光学系を新たに設計、開発することで、レンズアレーと接眼レンズの間の距離を短縮に成功。一般的なHMDのサイズに落とし込むことができたとのことだ。

自由視点ARストリーミング

これまでのテレビ放送の枠を超える新しい試みとして、放送波にメタデータを付与するオブジェクトベース伝送技術関連の展示が数多く見られた。その一環として、3次元コンテンツをストリーミングし、視聴端末にてリアルタイムレンダリングを行なうデモンストレーションが行われていた。

ブース内のモニターにて流れる放送番組に合わせたARコンテンツを、オンタイムでストリーミングするという環境を想定したもの。視聴端末（タブレット）のカメラの位置、向き、視野情報に応じた3Dモデルが端末上でリアルタイムモデリングされる様子を体験することができる。

本技術のポイントは、オブジェクトの表示位置、解像度パターンや切り替え距離など、3次元コンテンツを表示する上で必要な情報を効率的に視聴端末に伝送することにあるという。2次元の映像と比較してデータ量の多い3次元コンテンツの伝送においては、データ量の削減が一番の課題となる。そこで、静止物なら低フレームレートに、遠くに位置するオブジェクトなら低解像度にするなど被写体ごとに調節することで、全体的な画質を下げることなくデータ量の削減を達成している。

そのほか、HMDや、グラスといったウェアラブルデバイスを介さない立体視技術として、「携帯端末型インタラクティブ3次元ディスプレイ」が展示。会場には、横画面固定だが映像の品質を高めた「水平視差タイプ」と、画面の向きに依存せず任意の方向から視聴できる「全方向視差タイプ」の2パターンが用意された。

仕組みとしては、まず携帯端末のインカメラにて視聴者の顔エリアを検出し、視点位置を含む顔パーツ情報を、コンテンツが格納されているサーバーへアップロード。サーバーでは視点変化（操作情報）に応じたコンテンツの要素画像を生成／エンコードした後、ルーターを介して携帯端末にダウンロードする。これにより、ユーザーの視点位置情報などをフィードバックした3Dコンテンツがリアルタイムタイムで表示される。

また、新たなスタジオ技術として開発された「ボリュメトリックキャプチャー技術」は、被写体の周囲を取り囲むように複数のカメラを配置して被写体を撮影することで、リアルな質感や実物感を3次元CGで再現。撮影後のライティング変更にも対応するなど、さまざまな演出が可能になるという。

4K解像度のロボットカメラ24台、検知用の固定カメラ2台からなる「メタスタジオ」は、通常のカメラでは表現できない自由なカメラワークや演出を実現する技術。加えて、サーフェスライトフィールド（被写体表面からの光線情報）や、反射率などの質感の情報を取得することで、被写体をフォトリアルかつ質感豊かに再現できると謳う。再現した映像に生じた誤差や欠損をAIで補正することで、映像品質の改善も可能とのことだ。

技研公開の会期は、前述のとおり5月26日から5月29日まで。日時指定予約制として入場者数を制限しての一般来場も用意されており、公式サイトから申し込みを受け付けている。