本技術は、高解像カメラで取り入れた視覚情報から抽出した特徴量を音声信号へと変換し、ヘッドフォンから発音することで、「耳で視る」―すなわち、目を使わなくても聴覚のみを用いて空間の構造や物体の配置が分かる―という新たな知覚体験を創出するウェアラブルデバイスであり、機械学習による実世界情報のセンシングおよび分析と、リアルタイム音響合成による情報呈示とを密に連携させた、次世代型ウェアラブルシステムのあり方を提案するものです。
開発者らはユーザーテストを通じて本システムの実用性の検証を進めており、これまでに、積み木のような単純な形状の識別や、壁や柱といった空間の大域構造の把握といった、基本的な空間知覚が短時間の学習で可能になることを確認しています。今後、人物の区別や日常的な物体の識別も可能になり、日常生活の多くのシーンに対応できるようになることが期待されます。
本技術は神経科学および機械学習の知見に基づいて人間の持つ空間知覚を拡張することで、健常者も含めあらゆる人間の知覚体験を拡張し、生活支援のみならずエンターテイメントや能力増強といった幅広いアプリケーションを視野に入れた点に革新性があります。
動画はこちら
【展示内容】
Sightは、映像の特徴を音として呈示することで、「耳で視る」という新しい体験を提供するデバイスです。今回展示しているSight-version2.0は、可視光カメラと深度カメラの情報を取得し、それぞれから「何が」「どこに」あるかを判定します。これらの情報にもとづいて、まるでそこから「物体の音」がなっているかのようなサウンドスケープを作り上げます。Sightは現在、より実用性の高いシステムへと改良を重ねています。
セミナー
