高速・高精度な顔画像処理に基づくものまねアバターシステム

※掲載している情報は、受賞当時の情報のため、現在は異なる場合があります。

一般的なPCとUSBカメラで、人間の顔の向きや表情の変化を高速・高精度に計測する手法を開発しました。このアバターシステムの基礎となっている技術は、顔の検出・追跡に時系列信号処理の手法を応用し、目や鼻、口などに配置された特徴点を高速・高精度に追跡していくという技術で、人間の顔の動きに合わせて、アルゴリズムを逐次更新していくようなものを使用しているので、非常に高速・高精度に顔を追いかけることが可能となります。さらに、表情の変形の仕方を解析することで、顔の向きだけでなく、眉や口の動き、笑い、怒り、驚きなどの表情を表現することもできます。

慶應義塾大学理工学部の満倉靖恵准教授らの研究グループは、USBカメラ１台を利用したリアルタイム頭部姿勢推定・表情認識手法を提案しました。また、これらの技術を用いた応用として、顔の向きや表情をリアルタイムで操作可能なアバターシステムを開発しました。
映画やゲームなどのCGアニメーション製作において、キャラクターのモーション生成は特殊な機材を必要とすることが問題となっています。今回の研究では、一般的なPCとUSBカメラを用いて人間の顔の向きや表情の変化を高速・高精度に計測する手法を開発しており、実用性に富んだシステムへの応用が可能となりました。このため、リアルタイムにキャラクターを操作することが可能となっており、特殊な機材を必要とせず、誰でも簡単にキャラクターを操作できる簡易なアバターシステムの開発が可能となりました。