63kHzまでの音を読み取り可能
音をカメラで記録、個別楽器の音も取り出せる新方式の「光学マイク」開発【Gadget Gate】
公開日 2022/06/23 19:01
Munenori Taniguchi
米カーネギーメロン大学の研究者らが、2台のカメラとレーザーを組み合わせ、音の振動からサウンドを捉える、新方式の光学式マイクを発表した。従来の方式とは違い、集団で演奏中のステージから、個別の楽器の音を取り出すことが可能だ。
Image:Carnegie Mellon University
音という現象は、一般的には「空気の振動」と表現されることが多い。しかし厳密にいえば、音は連続する圧力波であり、音源はそれを発生させるために振動している。
一般的なマイクは、その音を振動として受け取り、電気信号に変換する。そのため音源が複数あれば、それらもすべて一緒にして取り入れてしまう。一方で光学式マイクは、音を発する物体またはその近くにある物体が、周囲の音波に同調して振動する様子をカメラでとらえ、それを音声信号として解釈するシステムとなる。
カーネギーメロン大学ロボティクス研究所が開発したシステムは、音源の表面にレーザー光を当て、そこに発生するまだら模様の変化「スペックルパターン」を1対のカメラで記録し、そのデータをソフトウェアで解析して音声信号化する。
スペックルパターンをカメラで記録する際の周期は、毎秒63フレーム（63fps）だ。人の耳はだいたい20Hz〜22kHz前後の周波数（振動の回数）を聞き分けられると言われている。63fpsの周期ではかなり狭い音域でしか機能しないように思えるだろうが、このシステムは63kHzまで音を読み取れるとのことだ。
カメラは片方にグローバルシャッター、もう片方にローリングシャッターを使用していて、グローバルシャッターはセンサー全面を一度に読み取るのに対して、ローリングシャッターは1フレームあたり1,000本の連続した水平ラインとしてデータをセンサーに取り込む。つまり高周波の成分が含まれるローリングシャッターと、グローバルシャッター側との比較により、高周波まで捉えられるわけだ。
研究者のMark Sheinin氏は「私たちは、音を見るための新しい方法を発明した」と述べ、それを「肉眼では見えないものを見るための新しいタイプのイメージングデバイスだ」と表現している。
Image:Carnegie Mellon University
研究者らは光学マイクシステムを使って、ギターやバイオリンの演奏、リック・アストリーの『Never Gonna Give You Up』を再生中のスピーカーコーン、振動中の音叉を録音。さらには、スピーカーの前に置いたドリトスの袋や、デュオで演奏する2本のギター、隣り合わせで別々の音楽を再生した2本のスピーカーも試している。
そして、ミュージシャンがギターを弾くときの動きなど、動いている物体であっても振動を捉えられ、同時に複数の点から個別の音を感知できることを確認した。ちなみにドリトスの袋は、2014年に最初の光学マイクのひとつを開発したMITの先行研究へのオマージュだ。
研究チームは、この技術が音声信号を光学的に読み取る以上のことに利用できるだろうと述べている。たとえば、24時間稼働の工場などでは、故障しやすいモーターの軸受けの状態を、聴音棒と呼ばれる器具を使い、作業者の耳で管理している。今回のシステムを工場の機械にそれぞれ設置しておけば、個々の機械を監視できるため、メンテナンスが必要な兆候を早期に見つけられ、機器停止による損失を低減できる。
研究者は「これはコンピュータービジョンができることを拡大するもの」だと述べ、「高速で微小な振動を捉える新しいメカニズムであり、新しい研究領域を提示するもの」だという。そして、「機械がたくさんある工場のフロアで私たちのシステムを使えば、固定されたカメラで振動を感知し、それぞれの機械の健康状態を監視できる」と説明する。
さらに「サウンドエンジニアは他の楽器の干渉を受けずに個々の楽器の音をモニターでき、ミックスの微調整ができるようになるかもしれない」と、その応用可能な例を示している。
Source: Carnegie Mellon University（１）, （２）
via: EurekAlert
※この記事は、現在プレオープン中のテック/ガジェット系メディア「Gadget Gate」から転載したものです。
Image:Carnegie Mellon University
音という現象は、一般的には「空気の振動」と表現されることが多い。しかし厳密にいえば、音は連続する圧力波であり、音源はそれを発生させるために振動している。
一般的なマイクは、その音を振動として受け取り、電気信号に変換する。そのため音源が複数あれば、それらもすべて一緒にして取り入れてしまう。一方で光学式マイクは、音を発する物体またはその近くにある物体が、周囲の音波に同調して振動する様子をカメラでとらえ、それを音声信号として解釈するシステムとなる。
カーネギーメロン大学ロボティクス研究所が開発したシステムは、音源の表面にレーザー光を当て、そこに発生するまだら模様の変化「スペックルパターン」を1対のカメラで記録し、そのデータをソフトウェアで解析して音声信号化する。
スペックルパターンをカメラで記録する際の周期は、毎秒63フレーム（63fps）だ。人の耳はだいたい20Hz〜22kHz前後の周波数（振動の回数）を聞き分けられると言われている。63fpsの周期ではかなり狭い音域でしか機能しないように思えるだろうが、このシステムは63kHzまで音を読み取れるとのことだ。
カメラは片方にグローバルシャッター、もう片方にローリングシャッターを使用していて、グローバルシャッターはセンサー全面を一度に読み取るのに対して、ローリングシャッターは1フレームあたり1,000本の連続した水平ラインとしてデータをセンサーに取り込む。つまり高周波の成分が含まれるローリングシャッターと、グローバルシャッター側との比較により、高周波まで捉えられるわけだ。
研究者のMark Sheinin氏は「私たちは、音を見るための新しい方法を発明した」と述べ、それを「肉眼では見えないものを見るための新しいタイプのイメージングデバイスだ」と表現している。
Image:Carnegie Mellon University
研究者らは光学マイクシステムを使って、ギターやバイオリンの演奏、リック・アストリーの『Never Gonna Give You Up』を再生中のスピーカーコーン、振動中の音叉を録音。さらには、スピーカーの前に置いたドリトスの袋や、デュオで演奏する2本のギター、隣り合わせで別々の音楽を再生した2本のスピーカーも試している。
そして、ミュージシャンがギターを弾くときの動きなど、動いている物体であっても振動を捉えられ、同時に複数の点から個別の音を感知できることを確認した。ちなみにドリトスの袋は、2014年に最初の光学マイクのひとつを開発したMITの先行研究へのオマージュだ。
研究チームは、この技術が音声信号を光学的に読み取る以上のことに利用できるだろうと述べている。たとえば、24時間稼働の工場などでは、故障しやすいモーターの軸受けの状態を、聴音棒と呼ばれる器具を使い、作業者の耳で管理している。今回のシステムを工場の機械にそれぞれ設置しておけば、個々の機械を監視できるため、メンテナンスが必要な兆候を早期に見つけられ、機器停止による損失を低減できる。
研究者は「これはコンピュータービジョンができることを拡大するもの」だと述べ、「高速で微小な振動を捉える新しいメカニズムであり、新しい研究領域を提示するもの」だという。そして、「機械がたくさんある工場のフロアで私たちのシステムを使えば、固定されたカメラで振動を感知し、それぞれの機械の健康状態を監視できる」と説明する。
さらに「サウンドエンジニアは他の楽器の干渉を受けずに個々の楽器の音をモニターでき、ミックスの微調整ができるようになるかもしれない」と、その応用可能な例を示している。
Source: Carnegie Mellon University（１）, （２）
via: EurekAlert
※この記事は、現在プレオープン中のテック/ガジェット系メディア「Gadget Gate」から転載したものです。
この記事をシェアする
