背景とシステム概要

スマートフォンやタブレット用アプリケーションの多くが加速度センサやジャイロセンサなどの慣性センサデータを利用しており，端末の動きや向きを利用したインタラクションなどを実現しています．本研究は，プロジェクションマッピング技術の利用により，ごく普通の紙面や本のページなどに対してそのようなインタラクションスタイルを適用することを目的とするものです．

今回展示しているシステムでは，手で自由に動かす平面の上に投影されるオブジェクト群が，平面上に手描きあるいは印刷された模様とぶつかりながら重力や慣性力を受けて運動します．

提案アプローチ

このようなインタラクションの実現において重要となるのは，紙面が動いてから投影される映像が更新されるまでの遅延をいかに小さくするかです．特に紙面を揺らしたり急加速したりといった素早い動きを伴う場合は，大きな遅延はユーザ体験を著しく損なうおそれがあります．

最近急速に発展している高速プロジェクション技術を用いることでこの問題を克服できますが，単純に適用すると，アプリケーション開発者に高フレームレートのアプリケーションループの実現を強いることになります．したがって，例えばスマートフォンやタブレット用に開発された既存コンテンツをそのまま移植するといったようなことは困難です．

これに対して本研究では，アプリケーションループとプロジェクションマッピングのための制御ループを分離するアプローチを取ります．プロジェクションマッピング制御を高フレームレートに保つことで，アプリケーションが動作する 2 次元ワークスペースが紙面上に遅れなく位置合わせされます．一方，アプリケーションループはこの制御とは独立に，アプリケーション自体が本来必要とするフレームレートで動作させます．

具体的なシステム構成は以下の通りです．Core i7 プロセッサを搭載するノート PC が USB-3 カメラから 400 fps で入力画像を受け取って画像追跡を行うとともに，物理シミュレーションの更新とプロジェクションマッピングの制御計算を 400 fps で行います．これとは独立に走るスレッドが物理シミュレーションの結果を非同期にポーリングして映像をレンダリングし，HDMI でプロジェクタに出力します．

ハードウェア実装

低遅延でのプロジェクションマッピングを実現するため，本システムではディジタルマイクロミラーデバイス (DMD) を表示素子とするプロジェクタを用いています．DMD は高速に切り替わる 2 値画像の時系列を表示するデバイスであり，これが観察者の視覚系で時間平滑されることでカラー画像が知覚されます．

本システムが内蔵する専用コントローラは，HDMI から入力された映像を 2 値画像に分解した後，USB 経由で受け取るホモグラフィ変換パラメータに基づいて座標変換してから最大 2,470 fps の 2 値パターンレートで DMD 素子に出力する機能を内蔵します．これにより，高フレームレート映像の入力を要することなく低遅延のプロジェクションマッピングが実現できます．

このハードウェアの詳細については以下をご参照ください．

http://www.ic.is.tohoku.ac.jp/ja/rtsense/fullcolor_highspeed_warping_projector/

ソフトウェア実装

本システムでは，プロジェクションマッピング制御は平面上の模様を用いて自動的に行われ，事前のキャリブレーションや平面へのマーカ貼り付けは不要です．

これを実現するため，本システムでは投影コンテンツを表現する 2 値画像系列の中に周期的にチェスボード様のマーカパターンを挿入しています．2,400 fps の 2 値画像系列に対して 6 フレームに 1 回の割合で，白黒が反転したパターンが交互に挿入されており，肉眼ではほぼ視認できません．このパターンが表示される瞬間に同期して追跡用カメラのシャッターを開くことで，コンテンツ映像に邪魔されることなく平面上のテクスチャと投影パターン両方の追跡を 400 fps のレートで行うことができます．

この手法の詳細については以下をご参照ください．

http://www.ic.is.tohoku.ac.jp/ja/rtsense/animated_stickies/

コンテンツの運動は 2 次元物理シミュレータ Box2D で計算しています．画像追跡を初期化する際に取得した平面状の模様の輪郭形状から静的オブジェクトを生成します．動的オブジェクトは，衝突による反発力に加えて，平面の向きおよび動きに基づく重力と慣性力を受けて運動します．