人間は、いくつかの物体が動いているシーンにおいてふと音がした時、 どの物体が音を発したのかという事をある程度判断できる。すなわち、 物体の運動とそれに伴う音を対応付ける事ができる。
そこで、本研究では、周期性の無い短い音(短音)を発する一般的法則の 一つである、物体の衝突に着目して、これに伴う視聴覚情報の対応付けに 関する手法を提案し、その有効性を示す。
対応付けの基本的なアイディアは、運動方向の変化時点に音が発生する という物理的法則に基づいている。具体的な手法としては、まず、動画 のフレーム間における時間差分をとり、移動物体の像がなす移動ベクトル を求める。一方で、全波整流した音の閾値処理により、立ち上がり時刻を 求める。得られた立ち上がりの時刻周辺で、動画での移動ベクトルの変化 を調べ、音に対応する物体を探索する。音の立ち上がりを、移動ベクトル 探索のトリガーとすることで処理を効率化している。
本手法を実際のシーンに適用した結果、満足できる結果が得られた。