＜NHK TECH EXPO＞360度から鑑賞できる「VR球体型ディスプレー」／番組キャラクターをリアルタイムで操演

NHKは、全国のNHKの現場ならではのアイデア・ノウハウを生かした開発や放送・視聴者サービスを支える技術の取り組みを一般公開する「NHK TECH EXPO 2025」を、5月26日（月）から28日（水）までの3日間にわたってNHK放送センター・正面玄関ロビーにて開催する。

本イベントでは、「新しい発想で、魅力的なコンテンツを」「大切な情報を確実に届けるために」「体験・体感してみよう！」の3つをテーマに、日常業務の中での気づきやノウハウを生かした開発、また放送・視聴者サービスを支える技術の取り組みなど全20点の展示を用意。入場料は無料で事前予約も不要となっており、創意工夫を凝らしたさまざまな最新技術をチェックすることができる。本稿では、その展示内容の一部をご紹介する。

複数視点から同時に鑑賞できる「VR球体型ディスプレー」

NHK盛岡放送局では、祭りやスポーツ、地域文化などを題材にVRコンテンツとして映像を資産化する取り組みを実施。その一例として、360度の立体的な視覚体験を可能にする「VR球体型ディスプレー」を紹介する。

本ディスプレイはVRゴーグル不要で同時に複数人での視聴が可能。ドームシアター規模の設営スペースを必要とせず、省スペースでVRコンテンツが体験できることも利点で、地球儀や360度映像素材といったVRコンテンツの投影に適しているとアピールする。

今回展示された球体型ディスプレイは、家庭用の球体照明を切り抜いて作成されたもの。ディスプレイへに映像投写するプロジェクターは約20万円のBenQのモデルを活用しており、「今回はすごく安価な球体型ディスプレイのシステムを実装した」と説明していた。ほかにも、スクリーンの塗装を変えたディスプレイも展示していた。

今後の展望として、鑑賞者の操作や動きなどに反応するインタラクティブ機能の搭載や、コンテンツとしての機能性向上を検討しているとのことで、ブース内にはゲーム機のコントローラーを用いた映像選択や、投影映像のパン・チルト操作が行える体験デモを用意していた。活用例としてはスタジオのセットでの活用や、イベントでの体験型コンテンツなどを想定しているという。

MRデバイスを用いてCGオブジェクトを手で操作

徳島放送局のブースでは、MRデバイスを用いて美術品や昆虫などのCGオブジェクトを手で自由に操作し、その様子を第三者視点となるカメラ映像にリアルタイム合成できる簡易バーチャルシステムを紹介。

本来デバイス装着者のみが楽しめるMRが、本システムを活用することで第三者も同じ視点の映像を楽しむことができる点が大きな特徴。例えばMRデバイスを装着した出演者が楽しんでいる映像を、第三者である視聴者にも共有できるのだ。

また、本来スタジオやイベント現場で扱いの難しい持ち出し不可の美術品や巨大な物体、生き物などを、フォトグラメトリ等の3Dモデル化技術を用いてCG素材として扱うことが可能。放送上に美術品や昆虫などをCGオブジェクトとして登場させ、視聴者からは本来見えにくい裏側なども手でひっくり返して解説する、といった活用例を紹介していた。

実際、徳島局での会館公開「阿波っ子フェス」にて本システムを展示したところ、多くの来場者から好評を得たとのこと。今後は上述した放送上での利用や、会館ロビーでの常時展示に向けて開発を継続していくと説明していた。

「西之島」の謎に迫る定点カメラ／地表探査ローバー

メディア技術局コンテンツテクノロジーセンターのブースでは、2013年以降噴火を繰り返し、立ち入りが制限されている「西之島」を、定点観測カメラや地表探査機を駆使して調査する技術を紹介。DJIの大型ドローン「Matrice 600」を使用して、西之島に「定点カメラ」や「地表探査ローバー」といった観測装置を設置／回収している。

2020年には動植物が絶滅し、今後どのように新しい生態系が形成されていくのか、その過程は今この時代でしか見られないとして、環境省が2019年以降1年に1回実施している西之島調査の際、NHKが調査員として同行してこれらの機器を使用しているのだという。

使用機材である定点カメラは、360度撮影ができる短期間用とタイムラプス撮影が行える長期間用の2タイプを用意。いずれも温度・湿度計や録音装置、粘着トラップなどを搭載しており、このカメラから西之島の詳細な調査を行っている。

実際にこの定点カメラを使い、噴火の際にも鳥が逃げずに平然としているさまや、鳥の大繁栄地に大雨による川ができたこと、それにより鳥の卵が流されてしまう様子など自然の営みを把握することができ、研究者らの新たな発見に繋がっているとのこと。

地表探査ローバーは、地表上を自由に動きながら360度撮影や4K撮影を行うことが可能。船からモニターを経由して遠隔操作が可能で、鳥の巣の様子などを間近で見ることができるという。また本体にはアームを備え、島のサンプルなどを採取することもできる。

地表探査ローバー

番組マスコットキャラクター「ちるる」をリアルタイムの操演

同じくメディア技術局コンテンツテクノロジーセンターの展示として、報道・子供番組『チルシル』のマスコットキャラクター「ちるる」を、リアルタイムに操演するシステムが紹介されている。

カメラで操演者を撮影し、AIを活用してカメラ映像から人物の顔や手、姿勢を検出して反映。そして音声解析によるリップシンクや、操作パネルによる感情操作機能を用いることで、3DCGキャラクターをリアルタイムで操演できる。

より具体的には、カメラで映した操演者の肩や肘、手首といった関節の特徴点をAIが検出。その検出データをキャラクターの骨格にデータ変換することでCGキャラクターを動かす仕組みとなっている。

リップシンクは、発話者の音声入力を解析して「あいうえお」の母音を検出し、それをキャラクターの口の形と連動させる仕組みとなっている。加えて、「真顔」「喜ぶ」「怒る」といった数パターンの感情を用意し、専用パネルから表情を変化させることができる。実際の番組放送中においても、担当者3名によってキャラクターを自然に動かしているとのことだ。

マーカーレスのため場所や人を問わずに操演が可能。一般的なモーションキャプチャーと違い専用のスーツやカメラも不要で、PCとカメラのみのシンプルな構成で実現できるとする。ちるる以外のさまざまなCGキャラクターでも使用が可能で、4K対応により大画面でも鮮明なキャラクター表示が行えるという。