memorandums

日々の作業ログです。

「スーパーカー消しゴム」遊びをプロジェクションで彩りたい

YMF2015以降、毎年、何かしらの展示出展をしてきましたが。。。昨年はMFTに落選し、その後もアイデアが出ず。。。何も出せませんでした。

日頃から学生さんにモノづくりって楽しいよと言っているわりには情けない限りです。

年が変わって、以下のようなメイカー系イベントのリストを見ながら、行けそうなところをピックアップして締切駆動で進めようと計画はしたんですね。。。でも、肝心にアイデアが出てこない。

メイカー向け国内展示イベント一覧 - Qiita

とにかくアイデアをノートに書き出そうと新しいノートを買ってみたんですが。。。どれもこれも面白くない。。。気づけばもう2月。。。今回もダメか。。。と思ったときに、ふとタイトルが思いつきました。その場で以下のようなメモをしました。

f:id:ke_takahashi:20200209202404p:plain

ここ数年、作ってきたモノは「既存の何かにプロジェクタで情報提示して別の何かに変えること」でした。

フツーの遊びや仕事に対して、プロジェクタで情報提示することで、より楽しめる何かを生み出せないか?という感じです。

基本的には、消しゴムをカメラでトラッキングし、移動や衝突を捉えて効果音を鳴らしたりスコアをカウントしたりいろいろと拡張が考えられます。

スーパーカー消しゴムであれば、ある程度の人は遊んだ経験があるし、ぐぐると親子で遊んでる方もいるようです。

思いついたのが一昨日くらいでした。

まず、考えなければならないのが消しゴムのトラッキング

白い用紙の上に消しゴムをおけば輝度差で何とか解析できるんじゃないか。。。というアイデアはこれまでの作品でも使ってきました。ただ、当然ですが、プロジェクターで映像を投影しているのでその映像の光が影響します。

これまではカメラではなく、Kinectなどのセンサーで距離でモノの位置を検出してきました。

今回は、赤外線と赤外線カメラで検出してみようと思いました。赤外線カメラの制作は以下に書きました。

memorandums.hatenablog.com

赤外線投光器(といっても赤外線LED3個をArduinoの出力である5V電源につないだだけ)をWebカメラと同じ位置に取り付けました。

さらに、消しゴムと床面?の輝度差をあげるために、今年度の予算で購入した3Mの再帰性反射シートでプレイフィールド?を作りました。

ここまでが昨日までの作業でした。

f:id:ke_takahashi:20200208172834j:plain

以下は赤外線を投影したフィールドを赤外線カメラで撮影している様子です。可視光の影響を受けずに安定した映像が得られます。

f:id:ke_takahashi:20200208172830j:plain

ソフトウェアを作る前にハードを作らないと実験できない。。。ってところが面倒であり面白くもあります。

で、今日は残りのソフトウェア部。

まず、カメラの座標とディスプレイの座標を合わせこむ必要があります。

射影変換で「カメラに映ったプレイフィールドの矩形」を「プロジェクタから投影した実際のプレイフィールドの矩形」にマッピングする関数を作成します。この辺は何度もやってきたので作ってきたコードを再利用しました。

その後、カメラ画像を2値化しOpenCVで領域検出し、消しゴムらしさ(サイズや縦横比)から消しゴムだけを抽出し座標を取得します。

ここまでで3時間くらい。その間にもいろいろと障害はありましたが忘れました。

とりあえず基本部分ができたところで消しゴムを飛ばしてみたら。。。あれれ。。。トラッキングが遅い。飛ばす前と移動した後しかトラッキングできていません。当然といえば当然で。。。Webカメラはもともと30FPSで、OpenCVなどの処理でオーバーヘッドもあります。Processing(Java)で動かしているのも遅さの要因の1つかと思います。

とりあえずデモ映像を撮らなければエントリーできませんので、とにかくそれっぽく見えるように仕上げました。

本当は、ペンで発車したら車が急発進するアニメーションとともに効果音を鳴らし、衝突したらアニメと効果音を鳴らそうと素材は用意していましたが。。。今後、カメラを買い換えて、openFrameworksなどで作り直そうと思います。ステージももっとカッコよくしたいし。やりたいことはたくさんあります。。。

とりあえずできたところまでで2箇所にエントリーしました。来週は入試監督で何もできないし。。。

f:id:ke_takahashi:20200209182000j:plain

動画は以下のような感じです。トラッキングもイマイチだし。改善の余地がたくさんあります。。。スーパーカー消しゴムもヤフオクで落札中。BOXYのペンもAmazonに発注したところです。似たモノとしてダイソー仕入れた消しゴムを使っています。。。雰囲気は伝わるかな。。。と思います。

www.youtube.com

イデアは面白いと思いますが、完成度は今一つ。。。中途半端だからな。。。また落選かなぁ。。。自信はありません。

もし、出展できたら、来場者の方と一緒に遊びたいなぁ。。。と思います。もちろん、改善したモノで。