技術内容
MotionScoreは、人の動きを楽譜化する新技術です。現在、CGキャラクターやロボットの動きを制御するのに用いられるモーションデータは、映像データ同様、フレーム(1/60秒という短い時間単位)で管理されています。
しかし、例えばダンスなど、現実の人の動きはテンポ(拍、ビート)から考えられています。実際、ダンスを練習する時の掛け声は必ず「ワン、ツー、スリー、フォー!」で、間違っても「はい、3秒後から4秒後にかけて足を上げて!」という人はいません。
今回の技術は、このことに着目したものです。これまでのモーションデータでは「3秒後から3.5秒後にかけて右手を前に出す」というように記述されていたものを、「2拍目から3拍目にかけて右手を前に出す」、というような記述に変化させます。つまり、動きをテンポによって管理するということです。
このアイデアによって、人の動きをMIDI(PC上の楽譜データ)に極めて近い形で記録することに成功しました。
MotionScoreを利用することで、生演奏とダンス映像・ロボットの共演、あるいはダンスをその場でミックスするパフォーマンスなどが可能になります。
動画はこちら
展示内容
1.バーチャルダンサーかけた音楽に自動で同期して、踊りだすバーチャルダンサーをご紹介します。ダンサーはユーザーのタップに反応し、リアルタイムにダン
スを変化させていきます。
2.オドレター
MotionScoreを用いた簡単なアプリ、オドレター。写真を撮るだけで、その人のペラペラモデルが踊りだすスマートフォンアプリです。
現在アプリ配信中ですので、会場に来られない方も是非お試しください。