ソニー 新〈ブラビア〉に搭載の新高画質回路「X-Reality PRO」の真価とは − 貝山知弘・折原一也が見た次世代エンジンの実力

折原　少し複数枚超解像について解説してみましょう。映像はもともと複数の画像で構成されていますよね。これをキレイにするのが超解像処理ですが、これまでの超解像では、それぞれの画像内の情報しか参照していませんでした。ある画素を基準にして、その水平や垂直方向の隣接画素を参照するやり方ですね。

こういった、一つの画像内で処理が完結する「一枚超解像」では、たとえばi/p変換を行って、もともとの情報が欠落した画像をキレイにするとき、復元するための情報が足りないので効果を得にくいという問題がありました。

貝山　そこで「X-Reality PRO」では、同一フレーム内の隣接画素だけでなく、複数枚、つまり時間軸上のデータも見るようにしました。これが複数枚超解像ですね。

折原　そうなんです。時間軸方向の処理を行うので、データの復元精度が飛躍的に向上します。また複数枚超解像では、精細度を高めるだけでなく、低ノイズ化を両立できる点も特長ですね。

貝山　確かに。これまでの超解像では、レベルを上げていくと少しノイズが目立つ傾向があったのですが、デモを拝見したところ、今回はその点がかなり改善されていました。

折原　「X-Reality PRO」の超解像処理が、前後何枚の画像を参照しているかは残念ながら非公開とのことです。ただし、ともかく参照する情報が何倍かに増えるわけですから、当然処理の負担も大きくなります。ですから、一部には実用化はまだまだ先になるという見方もありました。

貝山　その複数枚超解像処理を、今回の「X-Reality PRO」ではいち早く搭載してきたわけで、これは大変画期的なことですね。

■膨大なデータベースを参照し最適な処理を実施

貝山　ところで、もう一つ重要なポイントがあります。「X-Realty PRO」の複数枚超解像が「データベース型」であることですね。

折原　そうなんです。ただ単に補間するのではなくて、映像波形を解析し、一番最適な映像に作り替えるための変換データベースを参照するのが画期的ですね。

膨大なデータベースの中から、どのデータを使ったら一番精細感を上げられるかを選び、それをもとにして全画素をリアルタイムに、高精細な画像に作り替えているわけです。

貝山　そのデータベースは数千パターンに及ぶというから圧巻ですね。しかもデータベースは、解像度やアップコンしたものかなど、映像の特長に応じてそれぞれ用意されています。

折原　HD映像、SDからアップコンされた映像、通常のSD映像、低画質なSD映像、ネット動画などを数千の映像パターンに分類し、それぞれにパターンのデータを用意しているんですね。

貝山　こういった膨大なデータが存在するために、様々なパターンの映像を適切に高解像度化できるのですね。これは先ほども話しましたが、一朝一夕には、長年の蓄積無しには不可能なことです。

■1画素未満の動きを制御可能にして解像度を向上

―　1画素未満の、サブピクセル単位で動きを制御することしているのも「X-Reality PRO」のポイントですね。

折原　確かにそうですね。実際に映像の中でオブジェクトが動く際は、1画素単位での動きというわけではなく、1画素以下の、小数点単位の動きというのが非常に多いですから。これに関してはソニーさんに補足して頂きましょうか。

ソニー　いまご説明頂いた通りで、実際の映像を解析していくと、例えば水平1,920の映像でも、画素が1,920分の1個ずつ動いているわけでなく、その数分の一程度の精度で、ゆっくり動いているケースがたくさんあります。

ですから1画素単位の動き補正では、本当にキレイな動きは再現できないわけです。ソニーではここをしっかり研究して、サブピクセル単位の制御を可能にしました。

貝山　このサブピクセル単位での制御が、動画解像度の向上に大きく貢献するというわけですね。

ソニー　そうなんです。ただしサブピクセル単位での制御は、一歩間違うと、解像度を復元することができないだけでなく、オリジナルにないノイズを付加するような弊害も起きるのですが、「X-Reality PRO」ではうまく制御できていると自信を持っています。

貝山　本当に、ずいぶん動いている映像のチラつき感が抑えられていますよね。

ソニー　時間軸上で補間に最適なデータを見つけてくるアルゴリズムなので、MPEGノイズなども同時に抑えられます。これにより、ノイズを抑えながら精細感を同時に出すことができるようになりました。ノイズを抑えながら、かつ、動画解像度を上げることができるというわけですね。

貝山　信号処理のアラが目立ちやすい垂直方向に動く映像でも、例えば人物の目がくっきりと表現できていたり、襟元のチラつきが取れていたりと、非常に鮮明な映像に変化した印象を受けました。

■「SBM-V」も高画質化に大きく寄与

―　それではここまでのまとめとして、少し詳しく「X-Reality PRO」の処理の流れを解説して頂けますか。

折原　はい。まず入力された映像は、ソースのフォーマットに応じて、「X-Reality」でノイズ低減処理が行われます。ブロックノイズリダクション、モスキートノイズリダクション、ランダムノイズリダクション、ドットノイズリダクションなどの処理ですね。

折原　その後、映像信号は「XCA7」に引き渡されて、「X-Reality PRO」だけの処理が行われます。映像解析はフォーマットや解像度、周波数帯域、ノイズパターンなどをもとに行われますが、二通りの解析が行われるのがポイントです。映像の広域な情報を解析する「ピクチャーアナライザ」と、画素ごとに入力信号を複数枚参照し、数千パターンに分類する「3次元パターン分類」です。

この二つの解析情報を加味して、それぞれに適したデータベースを参照して、処理することで、解像度を引き上げているわけです。

―　解像度を引き上げたあとは、「SBM-V（Super Bit Mapping for Video）処理が行われ、最終的な映像として出力されます。

貝山　「SBM」はもともとオーディオ機器などに搭載されたもので、それを映像に拡張したのが「SBM-V」ですね。機器内部では14ビット処理する映像信号を、最終的に表示する前に低ビット化しなければなりませんが、その処理に人間の視覚感度を活用します。

つまり、視覚感度の高い高周波帯域に量子化誤差を拡散させて、ノイズ感を出さずに、限られたビット数で高い階調表現を実現するというものです。

たとえば青空など、同じ色が広い範囲にわたって、なだらかにグラデーションするような映像では、階調が足りずに縞模様になる「バンディング」という現象が起きます。「SBM-V」を使えば、これをなだらかに表現できるというわけです。

折原　「SBM-V」は、ソニーのBDレコーダー上位機では、以前から搭載されているものです。放送波で特に効きますから、雑誌記事などで「テレビの内蔵チューナーではなくレコーダーのチューナーで見たほうが高画質」と、よく紹介させて頂きました。

貝山　「SBM-V」はソニーPCLがBDのオーサリングに使っていますよね。業務用機器で使われている技術が家庭用のテレビにも入ってきたのは嬉しいことです。

■「チラつきや映像歪みがこんなにも減るものかと感心」

―　ここからは感想を伺っていきたいのですが、実際に「X-Reality PRO」のデモ映像をご覧になってみていかがでしたか？

貝山　興味深かったのはズームイン、ズームバックの映像ですね。チラつきや映像歪みがこんなにも減るものかと、非常に感心しました。

例えば建物が集合したショットでカメラが引いていくシーンでは、これまでなら建物の輪郭あたりにチラつきが多く見えたものですが、それがほとんど気にならないくらいに収まってしまっています。これは凄いなと思いましたね。