Event-based Visual Microphone

“Event-based Visual Microphone”

CVPR2023 Live Demonstrations

Non-contact measurement devices, such as laser Doppler vibrometers(LDV) and high-speed cameras, have been developed to measure various forms of vibrations. LDVs are expensive, and high-speed cameras have a significant trade off between resolutions and sampling frequency. Herein, we propose a non-contact, simple, and inexpensive approach to measure vibration using an event camera that records only changes in brightness. We demonstrated the reconstruction of audible sounds using the event camera; to the best of our knowledge, this study could be considered the first to successfully apply this method. This study addresses the challenges in measuring and reconstructing vibrations without requiring additional lighting and using a cost-effective method that can recover audible sounds and human voice. This method provides a new avenue for scientists and engineers to develop cost-effective and noncontact methods for measuring and reconstructing vibrations and sounds.

さまざまな形態の振動を測定するために、レーザードップラー振動計(LDV)や高速度カメラなどを用いた非接触測定装置が開発されています。 LDV は高価であり、高速カメラには解像度とサンプリング周波数の間に大きなトレードオフがあります。 ここでは、明るさの変化のみを記録するイベントカメラを使用して、非接触で簡単かつ安価に振動を測定するアプローチを提案し、イベントカメラを使用して可聴音の再構成を実証しました。 私たちの知る限り、この研究はこの方法の適用に成功した最初のものであると考えられます。 この研究では、追加の照明を必要とせず、可聴音と人間の声を回復できる費用対効果の高い方法を使用して振動を測定および再構成するという課題に取り組んでいます。 この方法は、科学者やエンジニアが振動や音を測定および再構築するための費用対効果の高い非接触方法を開発するための新しい道を提供します。

Authors:
– Ryogo Niwa (University of Tsukuba, Digital Nature Group)
– Tatsuki Fushimi (University of Tsukuba, Digital Nature Group)
– Kenta Yamamoto (University of Tsukuba, Digital Nature Group)
– Yoichi Ochiai (University of Tsukuba, Digital Nature Group)

Project Link
https://digitalnature.slis.tsukuba.ac...

Paper Link
https://tub-rip.github.io/eventvision...