AffectiveHMD

※掲載している情報は、受賞当時の情報のため、現在は異なる場合があります。

本展示においては反射型光センサと機械学習を用いた頭部装着型ディスプレイ(HMD)内部での表情認識技術のデモンストレーションを行います。HMDに組み込んだ多数の光センサで反射強度情報を取得し、機械学習器を訓練することによって、基本表情の識別を実現します。また、基本表情の合成により、リアルタイムの装着者の顔表情をバーチャル環境のアバタに反映します。

AffectiveHMDは、反射型光センサと機械学習によるヘッドマウントディスプレイ(HMD)の内部での表情認識技術です。 HMDは、人々が臨場感あふれるバーチャルリアリティ(VR)体験を楽しむことを可能にします。しかしながら、HMDを装着することの大きな問題の一つは、ユーザの顔の大部分が遮蔽され、バーチャル環境においてユーザの顔認識を困難にすることです。この問題を解決するために、私たちは反射型光センサと機械学習を用いた表情認識技術を提案します。 HMDの内部に組み込んだ反射型光センサによって、センサとユーザの顔の皮膚表面との距離を反射強度情報として取得し、基本的な表情のセンサ値の分布を機械学習することでユーザの表情を認識することができます。また、認識した基本表情の合成によってバーチャル環境内のアバタを通してユーザの表情の変化を再現することができます。こうしたHMD内部での表情認識技術は、バーチャル環境における自然なインタラクションの実現に貢献すると期待されます。