ニュッと画面から出てくる手を握る不思議さ

遠隔地で“疑似握手”の仮想現実を体験してきた

2007/07/31

　液晶パネルからニュッと飛び出た手を取って握手。その手の主は遠く離れたネットワークの向こう側――。そんなSFの世界で見たような光景が現実のものとなった。NTTコムウェアの研究開発グループが開発し、今年6月に公開した「Tangible-3D」（タンジブル3D）は、近未来のコミュニケーションのあり方を垣間見せてくれる夢のある技術だ。記者も実際に“握手”を体験してきた。

裸眼で3次元映像が見えて、触れられる

　「これまでバーチャルリアリティの研究分野では、CG映像を手で握ったりして操作するというものはありましたが、ネット経由で送られて来るリアルな映像と組み合わせたものというのは、われわれのTangible-3Dが初めてだと思います」。そう語るのは、NTTコムウェア研究開発部スペシャリストの小澤史朗氏だ。新開発のシステムでは、裸眼で3次元映像が見えるディスプレイと、手の指に応力が伝わる触感デバイスを組み合わせた。触感デバイスは腕や指の位置を検出することもできる。

　実際に体験してみた記者の感想は、「リアルな握手に比べると、まったく別の体験ではあるが、“疑似握手”というのは、それはそれで今までに体験したことのない、ちょっとした現実感の錯覚を覚える不思議さ」というところだ。グローブをはめて手を差し出し、ぎゅっと握ると何もない空間に確かに何かがある感じがして、「それ」をつかめる。精度の問題から、3次元映像と完全にシンクロというわけにはいかないようだが、それでも相手側が手を左右に動かすと、握っている何かが左右に動いて、こちらの手も一緒に動いてしまう、といった感じだ。

　以下の映像は、システムの紹介と実際のデモンストレーションの映像だ。手の動きから、だいたいの感じは伝わるだろう。

Tangible-3Dを用いて遠隔地と“握手”するデモンストレーション

　触感デバイスが約2000万円と、ややお高いという点を除けば、システムはシンプルだ。15.1インチの3次元ディスプレイは市販されているシャープ製のもので、「パララックスバリア方式」を採用したもの。一般的な液晶ディスプレイよりはやや高いという程度の価格だそうだ。液晶パネルに微細なスリットを液晶面に対して垂直に立てることで、左右の眼球の視差によって画面上の同じ位置でも左右の目に見えるピクセルが異なるという原理で3次元映像を表示する。左右2つの映像をストライプ状に配置することで見ている人には3次元の映像に見える。

　2台のカメラはXGA、30fpsの映像を、IEEE1394で直接2台のPCに送出している。映像処理用のPCでは、上記3次元ディスプレイ向けの加工処理を行う。もう1台のPCは背景画像から対象物を分離し、対象物の位置や姿勢といった空間情報をリアルタイムで抽出し、触覚デバイスに送る。現在は受信側からのフィードバックが送信側に送られることはないため、握手といっても一方通行だが、現在NTTコムウェアでは双方向の実験も予定しているという。

　2台のカメラの2次元映像から、対象物の詳しい3次元モデリングデータを得ることもできるが、「リアルタイム処理が必要なことと、そこまでの精度は今回必要がないということから、あらかじめ大まかな腕と手の形をデータとして持っておき、腕の位置と姿勢だけを抽出している」（小澤氏）という。つまり、相手の手のひらを指でくすぐることは、今のところできないわけだ。

　握手というのは、手の温度や湿り気、触感、柔らかさ、指の動きの表情、自由度の高い手首や肘によって生み出される滑らかな運動、相手との声と表情によるインタラクションといった非常に複雑なもの。そのように複雑な体験を遠隔地にいる2人の間で生み出せるようになるには、まだ何年も何年もかかるのだろう。小澤氏は「われわれは主にソフトウェア開発を行ってシステムを作っている立場なので、より安価で高性能なデバイスがあれば、と思います」と話す。今後は対象物の「柔らかさ／固さ」なども分かるようにしたいという。

　この技術にどのような応用が考えられるかは、まだ今後の技術の洗練にかかっているが、同研究所では「博物館の展示物を、実物を触れるかのように体験する」、「遠隔地を結んで陶芸教室を開き、生徒に形状の直感的情報を伝える」、「テレビ電話と組み合わせて会話しながら触れあったり、手元の物体を相手に触ってもらう」などの利用を想定しているという。

（＠IT 西村賢）

情報をお寄せください：

＠ITメールマガジン　新着情報やスタッフのコラムがメールで届きます（無料）