Tweet

進化したスマートペン

紙に手書きした仮想鍵盤でピアノが弾けるJavaペン

2008/05/10

　紙にペンで線を何本か書き付けて鍵盤を書くと、それがそのまま演奏可能になる。そんな印象的なデモンストレーションで観衆の心をつかんだのは米ライブスクライブ社CEOのジム・マーグラフ（Jim Marggraff）氏だ。米国サンフランシスコで開催中の「2008 JavaOne」のステージに登壇したマーグラフ氏は、2008年1月に発表したばかりの「Pulse」を披露した。

紙に手書きした仮想鍵盤。黒鍵は省略しているが、ペンを走らせることで音階がペンから再生される。ペンを鍵盤上に走らせると、指で鍵盤をなぞったとのと同じ連続した音がでる。鍵盤の下にある「I」は「Instruments」（楽器）の略で、このアイコン（？）をクリックすることで楽器の音色を変えることもできる。実際には自由に線やアイコンを書いていいわけではなく、「垂直な線を8本引いてください、それが鍵盤になります」などという音声ガイダンスに従う必要がある

　Pulseは、これまでにもあった手書きで紙に書いたものがそのままPCに取りこめるペンの一種だが、単に取りこめるという段階から進化した「スマートペン」だ。例えば手書き文字を書くそばから文字認識して、辞書を引くことができる。デモンストレーションでマーグラフCEOは、走り書きした「coffee」「please」といった文字列を認識させ、96×18ドットの有機ELディスプレイに元の単語と訳語を表示させ、訳語の発音を音声で確認してみせた。

紙に手書きした文字を認識して訳語を表示するPulse

　秒間70コマを取りこめる高速赤外線カメラを搭載し、ノート上に印刷された目に見えないドットを認識してペンの動きをトラックする。しゃべりながら書くと、それがそのまま録音される。PC上で再生すると、カラオケの歌詞がテンポにしたがって徐々に色が塗り替えられて表示されるように、文字と再生音声をシンクロする形で見ることができる。ペン単体でも、ノート下部にあるオーディオ再生ボタンなど制御用アイコンをペンで押すことで録音音声を聞くことができる。文字や絵とUI用のアイコンは区別できるようで、数字で箇条書きしたテキストは、ちゃんと箇条書きとして認識される。例えば「1」の文字列を書いているときに録音した音声を再生中に「3」をクリックすると、「3」の文字列を書いているときに録音した音声がスタートするといった具合だ。

　Pulseは、サムスン製のARM 9（32ビット、150MHz）、1GBまたは2GBのフラッシュメモリを搭載するという結構パワフルなコンピュータだ。SDKを提供しているのがミソで、Javaプログラマであれば自由にアプリケーションを開発してペンにロードできる。アイデア次第でいろいろな応用が考えられる。JavaOneでのデモンストレーションだったことから、数字を手書きでペンに入力し、それに対応するJSR（Java Specification Request）の内容を表示するというアプリケーションを実演していた。

　デモ内容だけでは実用性があるように思えないが、Pulseに適した応用が何かあるのでないか、ひとまず遊んでみたいとJava開発者たちに思わせるには充分だったようで、138ドルという特別価格のお得感も手伝って会場ブースでは飛ぶようにペンが売れていた。

箇条書きの数字をクリックすると、その項目の文字列を書いているときに録音した音声がペンから聞こえる

数字を入れると対応するJSRの内容を表示。役には立たないかもしれないが、さまざまな応用がありそうだと思わせるには充分なデモンストレーションだ

PC上に取り込んだノートは管理ソフトから検索もできる。画面は「java」で検索した例。手書き文字がヒットしてハイライトされるのを見るのは不思議な感覚だ