AffectiveHMD：組み込み型光センサを用いた頭部装着型ディスプレイ内での表情認識技術

技術内容

AffectiveHMDは、反射型光センサと機械学習によるヘッドマウントディスプレイ(HMD)の内部での表情認識技術です。 HMDは、人々が臨場感あふれるバーチャルリアリティ(VR)体験を楽しむことを可能にします。しかしながら、HMDを装着することの大きな問題の一つは、ユーザの顔の大部分が遮蔽され、バーチャル環境においてユーザの顔認識を困難にすることです。この問題を解決するために、私たちは反射型光センサと機械学習を用いた表情認識技術を提案します。 HMDの内部に組み込んだ反射型光センサによって、センサとユーザの顔の皮膚表面との距離を反射強度情報として取得し、基本的な表情のセンサ値の分布を機械学習することでユーザの表情を認識することができます。また、認識した基本表情の合成によってバーチャル環境内のアバタを通してユーザの表情の変化を再現することができます。こうしたHMD内部での表情認識技術は、バーチャル環境における自然なインタラクションの実現に貢献すると期待されます。

動画はこちら

展示内容

本展示においては反射型光センサと機械学習を用いた頭部装着型ディスプレイ(HMD)内部での表情認識技術のデモンストレーションを行います。HMDに組み込んだ多数の光センサで反射強度情報を取得し、機械学習器を訓練することによって、基本表情の識別を実現します。また、基本表情の合成により、リアルタイムの装着者の顔表情をバーチャル環境のアバタに反映します。

講評

VRゴーグル装着者の表情を機械学習を使ってアバター変換するこの技術があればVR空間内でのコミュニケーションがよりパワフルになる。リモートワークが増える時代にVR空間内での意思決定を行う際の相手の表情を読み取るためにもこの技術へのニーズは更に高まるだろう。