YMF2015以降、毎年、何かしらの展示出展をしてきましたが。。。昨年はMFTに落選し、その後もアイデアが出ず。。。何も出せませんでした。
日頃から学生さんにモノづくりって楽しいよと言っているわりには情けない限りです。
年が変わって、以下のようなメイカー系イベントのリストを見ながら、行けそうなところをピックアップして締切駆動で進めようと計画はしたんですね。。。でも、肝心にアイデアが出てこない。
とにかくアイデアをノートに書き出そうと新しいノートを買ってみたんですが。。。どれもこれも面白くない。。。気づけばもう２月。。。今回もダメか。。。と思ったときに、ふとタイトルが思いつきました。その場で以下のようなメモをしました。
ここ数年、作ってきたモノは「既存の何かにプロジェクタで情報提示して別の何かに変えること」でした。
フツーの遊びや仕事に対して、プロジェクタで情報提示することで、より楽しめる何かを生み出せないか？という感じです。
基本的には、消しゴムをカメラでトラッキングし、移動や衝突を捉えて効果音を鳴らしたりスコアをカウントしたりいろいろと拡張が考えられます。
スーパーカー消しゴムであれば、ある程度の人は遊んだ経験があるし、ぐぐると親子で遊んでる方もいるようです。
思いついたのが一昨日くらいでした。
この2週間くらい忙しかったけど、作らなければと思いつつアイデアが降りてこなかった。やっと面白そうなものを思いつき。明後日の締切に何とか間に合わせたい。とりあえず写真とデモ動画を撮るまで行きたい。できなくはなさそうだけど、時間がない。とにかく今晩やれるところまで頑張る。 pic.twitter.com/qKS2HjWXyc
— タカハシラボ (@ke_takahashi) February 8, 2020
まず、考えなければならないのが消しゴムのトラッキング。
白い用紙の上に消しゴムをおけば輝度差で何とか解析できるんじゃないか。。。というアイデアはこれまでの作品でも使ってきました。ただ、当然ですが、プロジェクターで映像を投影しているのでその映像の光が影響します。
これまではカメラではなく、Kinectなどのセンサーで距離でモノの位置を検出してきました。
今回は、赤外線と赤外線カメラで検出してみようと思いました。赤外線カメラの制作は以下に書きました。
赤外線投光器（といっても赤外線LED３個をArduinoの出力である５V電源につないだだけ）をWebカメラと同じ位置に取り付けました。
さらに、消しゴムと床面？の輝度差をあげるために、今年度の予算で購入した３Mの再帰性反射シートでプレイフィールド？を作りました。
ここまでが昨日までの作業でした。
以下は赤外線を投影したフィールドを赤外線カメラで撮影している様子です。可視光の影響を受けずに安定した映像が得られます。
ソフトウェアを作る前にハードを作らないと実験できない。。。ってところが面倒であり面白くもあります。
で、今日は残りのソフトウェア部。
まず、カメラの座標とディスプレイの座標を合わせこむ必要があります。
射影変換で「カメラに映ったプレイフィールドの矩形」を「プロジェクタから投影した実際のプレイフィールドの矩形」にマッピングする関数を作成します。この辺は何度もやってきたので作ってきたコードを再利用しました。
その後、カメラ画像を２値化しOpenCVで領域検出し、消しゴムらしさ（サイズや縦横比）から消しゴムだけを抽出し座標を取得します。
ここまでで３時間くらい。その間にもいろいろと障害はありましたが忘れました。
とりあえず基本部分ができたところで消しゴムを飛ばしてみたら。。。あれれ。。。トラッキングが遅い。飛ばす前と移動した後しかトラッキングできていません。当然といえば当然で。。。Webカメラはもともと30FPSで、OpenCVなどの処理でオーバーヘッドもあります。Processing（Java）で動かしているのも遅さの要因の１つかと思います。
とりあえずデモ映像を撮らなければエントリーできませんので、とにかくそれっぽく見えるように仕上げました。
本当は、ペンで発車したら車が急発進するアニメーションとともに効果音を鳴らし、衝突したらアニメと効果音を鳴らそうと素材は用意していましたが。。。今後、カメラを買い換えて、openFrameworksなどで作り直そうと思います。ステージももっとカッコよくしたいし。やりたいことはたくさんあります。。。
とりあえずできたところまでで２箇所にエントリーしました。来週は入試監督で何もできないし。。。
動画は以下のような感じです。トラッキングもイマイチだし。改善の余地がたくさんあります。。。スーパーカー消しゴムもヤフオクで落札中。BOXYのペンもAmazonに発注したところです。似たモノとしてダイソーで仕入れた消しゴムを使っています。。。雰囲気は伝わるかな。。。と思います。
アイデアは面白いと思いますが、完成度は今一つ。。。中途半端だからな。。。また落選かなぁ。。。自信はありません。
もし、出展できたら、来場者の方と一緒に遊びたいなぁ。。。と思います。もちろん、改善したモノで。
