Interactive Stickies

※掲載している情報は、受賞当時の情報のため、現在は異なる場合があります。

手で自由に動かす平面上に投影されるコンテンツとの物理的インタラクションを可能とするプロジェクションマッピングシステムを提案します。投影される動的オブジェクトは、平面上に手描きあるいは印刷された静的オブジェクトとぶつかりながら平面の動きに応じて運動します。400 fps のマッピング制御により遅れのない運動追従を実現しており、平面へのマーカ配置や事前キャリブレーションは不要であることを特徴とします。

本研究では，手で自由に動かす平面上に投影されるコンテンツとの物理的インタラクションを可能とするプロジェクションマッピングシステムを提案します．2 次元物理エンジンを用いたシミュレーションにより，投影される動的オブジェクトは，平面の動きに基づいて計算されるバーチャルな重力および慣性力を受けながら，平面上に手描きあるいは印刷された静的オブジェクトとの相互作用により運動します．
提案するアプローチの特徴は，投影される映像コンテンツの生成とその映像の平面上へのマッピング制御が異なるフレームレートで行われることです．映像コンテンツは最大 60 fps で生成され HDMI ポートを通じてプロジェクタに送信されますが，その映像は 400 fps のマッピング制御により平面上に正確に位置合わせされます．そのため，映像コンテンツの生成には遅延があるにも関わらず，その動きは平面上に物理的に描かれた静的オブジェクトと位置ずれを生じることなく相互作用しているように知覚されます．
プロトタイプシステムは既開発の低レイテンシ DMD プロジェクタおよびプロジェクションマッピングアルゴリズムを用いて実装されており，プロジェクタ・カメラ間のキャリブレーションや，平面へのマーカの貼り付けが不要なシステムとして実現されています．

スマートフォンやタブレット用アプリケーションの多くが加速度センサやジャイロセンサなどの慣性センサデータを利用しており，端末の動きや向きを利用したインタラクションなどを実現しています．本研究は，プロジェクションマッピング技術の利用により，ごく普通の紙面や本のページなどに対してそのようなインタラクションスタイルを適用することを目的とするものです．今回展示しているシステムでは，手で自由に動かす平面の上に投影されるオブジェクト群が，平面上に手描きあるいは印刷された模様とぶつかりながら重力や慣性力を受けて運動します．

このようなインタラクションの実現において重要となるのは，紙面が動いてから投影される映像が更新されるまでの遅延をいかに小さくするかです．特に紙面を揺らしたり急加速したりといった素早い動きを伴う場合は，大きな遅延はユーザ体験を著しく損なうおそれがあります．
最近急速に発展している高速プロジェクション技術を用いることでこの問題を克服できますが，単純に適用すると，アプリケーション開発者に高フレームレートのアプリケーションループの実現を強いることになります．したがって，例えばスマートフォンやタブレット用に開発された既存コンテンツをそのまま移植するといったようなことは困難です．
これに対して本研究では，アプリケーションループとプロジェクションマッピングのための制御ループを分離するアプローチを取ります．プロジェクションマッピング制御を高フレームレートに保つことで，アプリケーションが動作する 2 次元ワークスペースが紙面上に遅れなく位置合わせされます．一方，アプリケーションループはこの制御とは独立に，アプリケーション自体が本来必要とするフレームレートで動作させます．
具体的なシステム構成は以下の通りです．Core i7 プロセッサを搭載するノート PC が USB-3 カメラから 400 fps で入力画像を受け取って画像追跡を行うとともに，物理シミュレーションの更新とプロジェクションマッピングの制御計算を 400 fps で行います．これとは独立に走るスレッドが物理シミュレーションの結果を非同期にポーリングして映像をレンダリングし，HDMI でプロジェクタに出力します．

低遅延でのプロジェクションマッピングを実現するため，本システムではディジタルマイクロミラーデバイス (DMD) を表示素子とするプロジェクタを用いています．DMD は高速に切り替わる 2 値画像の時系列を表示するデバイスであり，これが観察者の視覚系で時間平滑されることでカラー画像が知覚されます．
本システムが内蔵する専用コントローラは，HDMI から入力された映像を 2 値画像に分解した後，USB 経由で受け取るホモグラフィ変換パラメータに基づいて座標変換してから最大 2,470 fps の 2 値パターンレートで DMD 素子に出力する機能を内蔵します．これにより，高フレームレート映像の入力を要することなく低遅延のプロジェクションマッピングが実現できます．
このハードウェアの詳細については以下をご参照ください．

本システムでは，プロジェクションマッピング制御は平面上の模様を用いて自動的に行われ，事前のキャリブレーションや平面へのマーカ貼り付けは不要です．
これを実現するため，本システムでは投影コンテンツを表現する 2 値画像系列の中に周期的にチェスボード様のマーカパターンを挿入しています．2,400 fps の 2 値画像系列に対して 6 フレームに 1 回の割合で，白黒が反転したパターンが交互に挿入されており，肉眼ではほぼ視認できません．このパターンが表示される瞬間に同期して追跡用カメラのシャッターを開くことで，コンテンツ映像に邪魔されることなく平面上のテクスチャと投影パターン両方の追跡を 400 fps のレートで行うことができます．
この手法の詳細については以下をご参照ください．

コンテンツの運動は 2 次元物理シミュレータ Box2D で計算しています．画像追跡を初期化する際に取得した平面状の模様の輪郭形状から静的オブジェクトを生成します．動的オブジェクトは，衝突による反発力に加えて，平面の向きおよび動きに基づく重力と慣性力を受けて運動します．