本システムでは、別々のオーディオレコーダとビデオカメラとにより収録した音響映像コンテンツを、空間に再生した音を基準としリアルタイム同期再生するシステムを提案します。一般に用いられるタイムコード等の同期信号を用いる必要がなく、ケーブルをつないだり電波を用いたりせずに、空間を伝わる音のみを用いて同期処理を実現します。音を録音再生機から再生し、直接スピーカに繋いで鳴らします。スピーカで再生された音は空間を広がります。その音をノートパソコンのマイク入力からPCに取り込み、PC内にある映像に含まれる音響信号と比較し、同一の音が鳴っている箇所を検出します。検出された箇所に動画の再生位置を移動させ音と映像の同期再生を実現します。リアルタイム処理の実現にはできる限り素早く同期させる方法が必要です。そこで、情報量の多い特徴的な値のみを抽出することでデータ量を削減し、比較することとしました。人間は楽器の鳴り始めなど変化の大きい箇所を目印とすることが多くあります。そのような人間の動作に学び音の立ち上がりに着目し、一定時間ごとに周波数スペクトルの振幅変動が最大となる周波数を特徴量として用いました。
審査委員講評
映像編集ソフトによる複雑な作業を必要とせずに音と映像の同期を実現したことで、幅広いユーザーに音楽コンテンツの表現機会を与えた点が評価できる。
