技術内容

MotionScoreは、人の動きを楽譜化する新技術です。
現在、CGキャラクターやロボットの動きを制御するのに用いられるモーションデータは、映像データ同様、フレーム(1/60秒という短い時間単位)で管理されています。
しかし、例えばダンスなど、現実の人の動きはテンポ(拍、ビート)から考えられています。実際、ダンスを練習する時の掛け声は必ず「ワン、ツー、スリー、フォー!」で、間違っても「はい、3秒後から4秒後にかけて足を上げて!」という人はいません。
今回の技術は、このことに着目したものです。これまでのモーションデータでは「3秒後から3.5秒後にかけて右手を前に出す」というように記述されていたものを、「2拍目から3拍目にかけて右手を前に出す」、というような記述に変化させます。つまり、動きをテンポによって管理するということです。
このアイデアによって、人の動きをMIDI(PC上の楽譜データ)に極めて近い形で記録することに成功しました。
MotionScoreを利用することで、生演奏とダンス映像・ロボットの共演、あるいはダンスをその場でミックスするパフォーマンスなどが可能になります。

動画はこちら

展示内容

1.バーチャルダンサー
 かけた音楽に自動で同期して、踊りだすバーチャルダンサーをご紹介します。ダンサーはユーザーのタップに反応し、リアルタイムにダン
 スを変化させていきます。
2.オドレター
 MotionScoreを用いた簡単なアプリ、オドレター。写真を撮るだけで、その人のペラペラモデルが踊りだすスマートフォンアプリです。
 現在アプリ配信中ですので、会場に来られない方も是非お試しください。

講 評

通常フレーム単位で制御されるモーションデータが、人の感じる「ビート」に着目することにより、より人間らしいデータとして抽象され、さらにそれを用いて様々な動作制御にフィードバックされる点は斬新。