＜NHK技研公開＞画面内の領域ごとに画質を調整する「シーン適応型カメラ」／ARを活用した未来のコンテンツ体験

NHK放送技術研究所（NHK技研）が最新の研究開発成果を一般公開するイベント「技研公開2025」が、5月29日（木）から6月1日（日）まで開催される。これに先立ち、5月27日にプレス向け公開が行われ、様々な最先端技術が披露された。本稿では、その場にいるような世界を体感できる「イマーシブメディア」に関連する展示について紹介する。

画面内の領域ごとに画質を調整する「シーン適応型カメラ」

広視野映像や360度の全天球映像を高品質に撮影できるよう、被写体の特徴にあわせて画面内の領域ごとに撮影モードを調整できる「シーン適応型イメージング技術」を搭載した試作4Kカメラを新開発した。

従来のカメラでは、特定の被写体に合わせて画面全体の撮影条件を調整するため、すべての被写体を同時に高品質に撮影することが困難であった。このシーン適応型イメージング技術を用いれば、撮影中の被写体の特徴を解析し、個々の被写体が写っている領域ごとに適した撮影モードを自動で設定することで、画面全体の映像品質向上を促せるとしている。

本カメラは4K解像度対応で、4×4画素の微小エリアごとに異なる解像度やフレームレート、露光時間を設定できる「4Kエリア制御イメージセンサー」を搭載。加えて、被写体の特徴解析とイメージセンサーへのフィードバック制御をリアルタイムで行う技術を用いることで、さまざまな動きや明るさの被写体が同一画面内に写り込むことが想定される広視野映像の鮮明な撮影が可能だとアピールする。

撮影モードは、高解像度＆基準フレームレートの「基本モード」、水平・垂直解像度1/2倍＆最大240フレームの高フレームレートの「高速モード」、露光時間1/4の「高輝度モード」、フレームレート1/2倍＆ノイズ抑制の「低遅延モード」の4つを搭載。そして、技研公開2023で公開された1K相当の白黒イメージセンサーをアップデートした4Kエリア制御イメージセンサーにより、4×4画素で構成される領域（制御エリア）ごとに異なる4つの撮影モードを設定することが可能だ。

例として同映像内の白飛びしている部分は高輝度モード、回転していて動きがぼやけている部分は高速モード、それ以外は通常モードが適用されることで、白飛びと動きのぼやけを同時に抑制が可能。なお、対象の領域において1つの撮影モードが適用されるため、明るくかつ動きの速い被写体に関してはいずれかの撮影モードが適用されるとのこと。

カメラ自体の性能については、ダイナミックレンジが基本モード70dBのところ、上述の高輝度モードと低遅延モードの搭載により88dBまで拡大。また、リニアマトリクスやゲイン、ペデスタル、ガンマ、ディティール、内蔵NDフィルタ制御といった映像調整機能もサポートしており、これらは背面パネルから操作できる。制御エリア数は976×556、感度はF5.6@2000lux（基本モード時）。

今後については、この試作カメラの放送現場での活用に取り組むと共に、さらなるカメラの多画素化を進め、2028年ごろまでに広視野撮影に対応した高品質かつ高解像度のカメラの実現を目指していくとしていた。

ARグラスや3Dディスプレイ、触覚・香りディスプレーによる未来のコンテンツ体験

未来のコンテンツのコンセプトとして、ARグラスや3Dディスプレイ、触覚・香りディスプレーにより、コンテンツ体験が空間や感覚的に広がる未来のイメージを紹介するデモが特別ステージ上で行われた。

右手のステージでは、コンテンツを誰とでも一緒に楽しめる近未来のARコミュニケーションを紹介。小型軽量のARグラスをかけてテレビを観ると離れた場所にいる友人の姿も映し出され、一緒に話しながら同じコンテンツを楽しむ様子を紹介した。

また、特定のシーンをもう一度観たい際にハンドジェスチャーによって前のシーンにまで巻き戻したり、リアクションマークを活用してシーンに対して拍手といったリアクションの入力を行う様子など、テレビの枠を超えたコンテンツを起点とする新たな人とのコミュニケーションの広がりについてアピールした。

左手のステージでは、触覚と香りで体感する3次元コンテンツについて紹介。モニターに表示されたかき氷の3D映像を手に持った円柱型の体感デバイスで自由に動かすさまや、いちごのシロップの香りを嗅いでいるようすなどを実演し、コンテンツが感覚的にも広がる体験のイメージを解説していた。

本ステージの裏には、上述した近未来のARコミュニケーションと、触覚と香りで体感する3次元コンテンツを実際に体験できるスペースが用意され、自由に体験することが可能となっている。

ARコミュニケーションのブースでは、ARグラスを着用するとモニターの左端に話者が表示され、自由に会話したり、指先を使って画面上に表示されるボタンを押してリアクション入力やシーンの早送り・巻き戻しを行うなどが体感できた。

3次元コンテンツのブースでは、3D・香りディスプレーと体感リモコンを活用した体験が可能。コーヒーやいちごのシロップなどの香りが実際に漂うさまや、体感リモコンを通じてカップに飲み物が注がれている感覚、またリモコン裏から温かいや冷たいなどの温度までも感じることができた。

今後の展望については、AR/VR関連技術が生活に溶け込む未来に向けて、コンテンツの表現方法の開拓とそれを実現する要素技術の研究開発を進め、2030〜40年頃の技術確立を目指すとしていた。

イマーシブコンテンツ提示のための映像・音響の連動技術

実写ベースのコンテンツ内を自由に動いて楽しむことができるイマーシブメディアの実現に向けた研究として、ヘッドマウントディスプレイ（HMD）やタブレットなどさまざまな端末で仮想空間内の好みの位置から映像をみたり音声を聞いたりできる映像と音響の連動技術を紹介している。

この連動技術は、仮想空間の3次元情報からユーザーの見る位置や向きに応じた2次元映像を生成する装置「映像レンダラー」と、収録した音声信号と位置・音響特性などのメタデータで制作したコンテンツの音声を、ユーザーの位置や向きに応じて再生・検聴する装置「音響レンダラー」が、それぞれユーザーの位置情報を共有して互いに連動する技術。これにより、映像と音声のタイミングを合わせて掲示することが可能になった。

各端末の表示能力に応じた映像をレンダリングすることが可能で、ユーザーの好みの端末でイマーシブコンテンツが楽しめるとのこと。映像オブジェクトの時間・空間的な配置を示すシーン記述方式や、VRコンテンツ用の音響レンダリング方式などは最新のMPEG規格に対応している。

ブース内では、この映像・音響の連動技術を活用した視聴コンテンツのデモを用意。本技術を用いた人気番組『おとうさんといっしょ』の出演者が歌い踊るコンテンツにて、ゲーム機のコントローラを操作してキャラクターに近づくとそのキャラクターの音声を大きく聞き取れたり、演者の後ろにまわった際にも実際に後ろから聴いているかのようなリアルな聴こえ方が体感できる。

そのほかにも、ヘッドマウントディスプレイやタブレットを使用しての体験スペースも用意されていた。今後の展開については、2028年頃までに映像レンダラーと音響レンダラーの一体化を目指し、「イマーシブメディアにおけるコンテンツ提示の仕組みを確立したい」と明かした。