「音」と「振動」で分かるモノやヒトの状態、安価に実現する2つの手法：あらゆるモノが入力デバイスに変わる？

　米カーネギーメロン大学は2018年10月17日（米国時間）、周囲で何が起こっているかスマートデバイスが認識できるよう、音と振動を検出、分析する手法で成果を挙げたと発表した。同大学のHuman-Computer Interaction Instituteで助教を務めるChris Harrison氏の研究チームの成果だ。

　Harrison氏は、この方法の意義を次のように説明している。「キッチンカウンターに置いたスピーカーは、そこがキッチンかどうか、ましてや、キッチンにいる人が何をしているかは分からない。だが、周囲で何が起こっているか、スピーカーが理解できれば、こうしたデバイスはもっと役に立つようになる」

ヒトの動作音を聞き分け、何をしているのかを判別できる。ここでは包丁を使って刻んでいる（chopping）と推定した（出典：米カーネギーメロン大学）

　研究チームは2018年10月、ベルリンで開催されたAssociation for Computing Machinery's User Interface Software and Technology Symposiumで、周囲の状況を認識するこうしたデバイスを実現するための2つの手法について報告した。

　一つはさまざまな機器が内蔵するマイクを使って音を検出する手法、もう一つは1950年代に旧ソビエト連邦の諜報機関KGBが盗聴に用いていた振動を検知する技術の現代版を使う手法だ。

Ubicousticsはソフトのアップデートで広く展開可能

　マイクを使う手法では、音による活動認識システム「Ubicoustics」の開発に取り組んだ。このシステムは、スマートスピーカーやスマートフォン、スマートウォッチ、ノートPC、IoTセンサーなどに組み込まれたマイクをそのまま使う。これらのマイクが寝室やキッチン、作業現場、オフィスといった場所や動作に関連する音を認識できるようにすることが目的だ。

　Ubicousticsの開発では、エンターテインメント業界で使われるプロ向けの高品質なサウンド効果ライブラリを利用した。生活音やさまざまな道具が発する音など、ライブラリにある膨大なサウンドデータを組み合わせて数百万の音を作り出し、システムをディープラーニングでトレーニングした。その結果、複数の音が重複していたり、反響したりしていても聞き分けることが可能になった。

　咳を聞き取ってユーザーの健康状態を把握したり、機械装置の動作状態を判別したりすることが可能だ。調理に使えば、レシピのどの段階まで進んだのかをスピーカーが把握し、次の動作を指示することができるだろう。

　Ubicousticsは、ソフトウェアアップデートによって既存デバイスにデプロイすれば、すぐに機能する可能性があるという。

　Ubicousticsの現在の認識精度は80％程度であり、人間に匹敵する。だがユーザーアプリケーションをサポートするにはまだ不十分だ。研究チームはマイクの改良やサンプリングレートの向上、さまざまなモデルアーキテクチャの活用により、精度の向上を目指している。

Vibrosightは古くて新しい柔軟な技術

　振動を検知する手法では、「Vibrosight」というシステムを開発中だ。Vibrosightは、レーザー振動測定法を使って、室内の特定の場所における振動を検知する。この手法は、人間のほとんどの活動や物体の動作では、振動が発生することを利用している。

　研究チームは振動を検知するメリットを幾つか挙げた。振動は相互に干渉しないため複数の物体の状態を同時に検出できること、音声とは異なり、特定の場所に限定した振動をモニタリングすることでプライバシー侵害を避けやすいことだ。

　KGBは窓に光を照射し、別の場所に検出器を置くことで窓の振動、すなわち室内の音声を検出していた。この方法は検出したい振動が1つだけであればうまくいくが、室内の複数の振動を検出しようとすると、検出器の数がそれだけ増えてしまう。

　そこで、入射光と同じ方向に反射光を返す素材を用いた数センチ角のシールを利用した。これはアポロ計画で月面に設置された「コーナーキューブ」と同じ働きをするシールであり、シール自体には回路や電源などは組み込まれていない。

　シールを物体に直接貼り付ける必要はなく、周辺であればよい。さらに1枚のシールが周囲にある複数の物体の振動を同時に検出できる。

　モーター付きで複数軸に沿って動くミラーと低出力レーザーを組み込んだ照射器、センサーを内蔵した検出器、これらを一体化することで、振動検出に必要な機材を1つにまとめることができた。実験用デバイスの費用は80ドル程度だという。

　研究チームによると、センサーはモニタリング対象機器のオン、オフを98％の精度で検知し、物体の振動プロファイルに基づいて、対象機器を92％の精度で特定する。

　具体的には人がいすに腰掛けたときに生じるいすの動きを検知する。大工仕事であれば金づち、やすりがけ、ブラシかけを区別でき、ランニングマシンで歩いているのか、ジョギングか、走っているのかも分かる。

　さらにシールを貼り付けた物体をこすったり、たたいたりすることで、その物体を入力デバイスに変えることができる。物体ごとに動作を登録するソフトウェアを利用すれば「何でもリモコン」が実現しそうだ。