본 기술은, 고해상도 카메라로 촬영한 시각 정보에서 추출한 특징을 음성신호로 변환해서 헤드폰을 통해 들을 수 있는 「귀로 보는」- 즉, 눈을 사용하지 않고 청각만을 통해서 공간의 구조나 물체의 배치 등을 알 수 있는, 새로운 지각 체험이 가능한 웨어러블 디바이스입니다. 그리고, 기계학습(機械学習)에 따른 실세계 정보의 감지 및 분석과 리얼타임 음향합성에 따른 정보제공 기술을 연계시킨, 차세대형 웨어러블 시스템의 방향성을 제안하는 기술이기도 합니다. 개발자들은 유저 테스트를 통해 본 시스템의 실용성 검증을 진행하고 있으며, 검증 테스트를 통해 지금까지 집짓기 놀이용 나무토막과 같은 단순한 형태의 식별이나 벽 또는 기둥 등 공간의 대략적인 구조 파악과 같은 기본적인 공간지각을 단시간에 학습 가능하다는 것을 확인했습니다. 앞으로는 인물의 구별이나 일상적인 물체의 식별도 가능하게 될 것이고, 일상생활의 많은 부분에서 사용할 수 있게 될 것을 기대하고 있습니다. 본 기술은 신경과학 및 기계학습의 지식을 바탕으로 인간이 가지는 공간지각을 확대함으로써 인류의 지각 체험을 확대하고, 생활뿐만이 아니라 오락성 및 능력 증강과 같은 폭넓은 애플리케이션을 시야에 넣었다는 점에 혁신성이 있다고 할 수 있습니다.
동영상
【전시내용】
Sight는 영상의 특징을 소리로 보여주는, 「귀로 보기」라는 새로운 체험을 제공하는 디바이스입니다. 이번에 전시하는 Sight-version2.0는, 가시광(可視光)카메라와 심도카메라의 정보를 취득해서 각각의 「어떤 것이」, 「어디에」 있는가를 판단하도록 해줍니다. 마치 「물체에서 소리를 내고 있는」 듯한 소리의 풍경을 만들어 내는 Sight는 지금도 보다 실용성이 높은 시스템을 위해 개선과 개량을 쉬지 않고 있습니다.
