マッシュアップもIoTへ――「下手な芸人より面白い」「狂気を感じる」「絶句した」な12作品が集まった #MA11 決勝戦まとめ：MAは開発者のM-1になったのか（2/3 ページ）

CliMix［クライミックス］

　近年、マンガを「電子書籍」として読んでいるという人も多いのではないだろうか。CliMixは、読んでいるマンガ作品のストーリー展開に合わせて、雰囲気を盛り上げる「音楽」を自動的に選択し、流してくれる電子書籍アプリである。

　この作品のスゴいところは、単にマンガのジャンルに合わせた曲を選んでくれることだけではない。各ページ内の「文字の大きさ」「吹き出しに書かれている文字の意味」「コマの大きさ」などのさまざまな要素から、ページごとに「クライマックススコア」を算出し、作品中のどこに一番の山場、つまり「クライマックス」が来るかを判別して、ちょうどその部分を読むであろうタイミングで、曲の「サビ」が来るように、逆算して再生を行うところにある。

　クライマックスの自動抽出には、ドコモの文字認識APIやOpenCVの画像処理ライブラリを活用。楽曲の選出には、Gracenoteの音楽メタデータAPIや、シンクパワーのプチリリ同期歌詞取得APIを利用。音楽読書スピードの判別には、スクロール速度やJ!NS MEMEから取得できる「視線の動き」などを利用しており、これらを組み合わせることで、一見どうやって実現しているのか分からないような体験が生み出される。まさに「マッシュアップ」の底力を感じさせる作品となっている。

Peta×Peta

　「IoT部門賞」も受賞しているこの作品は、誰もがやったことのある「鬼ごっこ」を、スマートフォンと「靴の中敷き型圧力センサー」を使って、戦略的なゲームへと進化させる作品だ。

　Peta×Petaでの勝利条件は「制限時間内に、鬼にならずに一番逃げた距離が長い人が勝ち」というもの。参加者は全員、靴の中に圧力を感知する「中敷きセンサー」を仕込んでおり、距離を稼ぐために「走る」と、その足跡が共有されている地図上にプロットされる。もちろん、鬼から一定の距離内に入ってしまうと、今度は自分が鬼になり、その間は移動距離がポイントとして加算されなくなってしまう。つまり、ガンガン走って逃走距離を稼ぐか、ゆっくり歩いて鬼に存在をばれにくくするかといった駆け引きが発生する仕組みだ。

　また、Peta×Petaでは「観戦」のためのシステムも作られており、ゲームに参加しているプレーヤーそれぞれの位置やポイントを、Web上で一覧できるようになっている。開発に当たっては、できるだけ数の少ない（靴底に入れられる程度の）センサーで「歩き」と「走り」を個別に認識できるようにする点を工夫したという。

　開発チームは「実際に作ってみたら予想以上に面白かった」と自己評価する。町おこしのようなリアルイベントへの展開の可能性も考えていきたいとしている。

参式電子弓

　「参式電子弓」は、アーチェリーなどに使われるような実際の「弓」に、センサーやプロジェクター、小型PCなどを搭載することで、VRゴーグルなどとは違った形でプレーヤーの「仮想現実への没入感」を生むことを目指したVRデバイスである。

　この弓には、前方に向かって映像を投影するプロジェクターが付属しており、構えた前方に、仮想空間を映し出す。仮想空間は全方位に対して構築されており、構える方向を変えることで、それに合わせて映し出される映像も変化する。ちょうど、ライフル銃の照準をのぞき込んでいるときに、その照準内の景色のみが見えるといった状況だ。

　もちろん「弓」なので、弦を引くことで矢を打ち出すことができる。弓の引き方の強弱や、構える方向に応じて、放たれた矢の軌跡も変化する。弦の引き具合の強弱は、弓の「しなり」をセンサーで感知して算出しているという。

　参式電子弓は、新たなゲーム空間を創造するためのデバイスとして開発を進めてきたという。「参式」という名前からも分かるように、世代としては3代目だ。開発者は「なぜあえて銃ではなく、弓を題材に選んだのか？」という審査員の質問に、「銃だと引き金を引いているかいないかのオンオフしかないのに比較して、弓は弦の引き方によってさまざまな状態が考えられる。また、弦を引く過程、離したタイミングでの力のフィードバックもあり、強く引くとプレーヤー側にもそれなりの負担が発生するなど、戦略的な要素もある。その点で面白い題材だと思った」と話した。

gの天秤

　新設された「インタラクティブ・デザイン部門賞」を受賞した「gの天秤」は、インターネットに連動したインスタレーションアート作品だ。制作者いわく、これは「人間の価値を測る天秤」なのだという。

　天秤の左右には、それぞれインターネットに接続されたデバイスが乗っている。その画面には「ルックスの良さ」「お金」「運動神経」など、「人物評価の尺度」に関する単語が次々と表示され、その下にGoogle検索による、その単語のヒット件数が表示される。天秤はヒット件数の多いデバイスを「重い」と判断して、ゆっくりと傾きを変化させていく。

　この作品を作るきっかけとなったのは「リーダーに求められる能力は、狩猟時代には獲物を捕らえる肉体的な『力』であり、農耕が始まって以降は天気を予測できる『占いの能力』だった。リーダーに求められる能力は、時代によって変化し続け、場所によっても異なる。これを作品として表現したらどうなるか」という発想だったという。そこに、あらゆる概念や価値観を示す「単語」を、全て「検索ヒット数」という数値に置き換えて一意に表現してしまう「Google」を、天秤を動かす「現代の神の声」として盛り込んでいるのも面白い。

　プログラミングには、Processingを使用。開発に当たっては、天秤のゆっくりした動きを実現するため、サーボモーターではなく「ラック＆ピニオン構造」を採用するなどの工夫を行ったという。

Spectee

　近年、大きな事件の発生を最初に知ったきっかけは「テレビ」「ラジオ」「ニュースサイト」よりも、TwitterやFacebookなどの「ソーシャルメディア」だというケースが多くなっている。事件発生から、いわゆる「マスメディア」で情報が流されるようになるまでの数時間、より多くの情報を知ろうと思っても、なかなかネット上で整理された情報が見つからず「もどかしい」思いをした経験の持ち主もいるのではないだろうか。

　「Spectee」は、ソーシャルメディアを常に監視し、発生から間もない事件やイベントに関する情報、特に画像や映像を集約してユーザーに配信するサービスだ。大規模なソーシャルメディアのクローリングによって、現場近くのユーザーがアップした関連する画像、動画をリアルタイムに抽出し、整理するという。11月にフランスのパリで発生した同時多発テロにおいても、現地のSNSユーザーが撮影した映像を、テレビなどで配信される前の段階で取りまとめて提示していたとする。

　データの分析に当たっては「Microsoft Azure Machine Learning」を活用した独自の人工知能エンジンを利用している。ソーシャルメディア上の情報をリアルタイムに取得し、整理した形で提示できるようにすることで、「一次情報の革命」を起こすことを目指してサービス開発を続けているという。