NewsInsight

3次元の顔がおしゃべりも

坂本龍馬の顔も3次元でリアルに再現

2008/05/28

　2次元の顔写真から3次元の顔データを作成する技術はこれまでにもあったが、その精度とリアリティで米EON Realityの「イオン・ヒューマン」は圧倒的だ。2次元の写真を80秒程度で処理し、7〜8万ポリゴンのリアルな3次元顔画像を作ることができる。「これまでにも顔の3次元データを作成するデジタルスキャナは存在したが、非常に高価だった。イオン・ヒューマンによって初めて一般の人々は自分の顔の3次元データを保存したり、人に見せたりできるようになる。日本はどうか分からないが、少なくとも米国ではいま、誰もが“自分”に関心があるようだ。MySpaceやFacebook、セカンド・ライフといったネットワーク上で自分を見せる方法として提供していきたい」（開発元の米EON Reality会長のダン・ルジェルスカー氏）。

イオン・ヒューマンによる2次元写真の3次元化の例

　3次元化技術のベースとなっているのは同社が“スーパー・ヒューマン”と呼ぶ、数千人の顔を合成した顔データベースだ。さまざまな人種、性別、年齢の人物の顔を3次元データとして取り込み、顔表面の凹凸や色情報といったテクスチャをベクトルデータとして保存。変換元となる2次元の顔写真と、スーパー・ヒューマンとの差分を取ることで顔の3次元データを復元するという（原理を解説する論文は、http://www.eon-kgt.jp/data/pdf/eon-human_ammfts3df.pdf）。処理する顔写真の人物について、あらかじめ人種や年齢を入力する必要はなくて、すべて自動で3次元化処理を行う。

イオン・ヒューマンの原理や応用を説明するレジェルスカー氏（英語）

　作成した3次元モデルは通常のポリゴンデータ同様に、ユーザーの操作により回転させたり、光の当て方を変えるといったことができるだけでなく、人種や年齢、性別、太り具合、表情、魅力度などを連続的に変化させたムービーを作成することもできる。例えばジャッキー・チェンのようなアジア人顔を、見た目は本人のまま西洋人顔に変えてしまったり、女性にしたり、あるいは若くしたり、実際以上に老けさせたりといったことができる。もともと中性的な顔の男性なら、より男っぽくマッチョな顔にするようなことも可能だ。

　2次元映像だけあれば3次元化できるため、故人や絵画中にのみ存在する人物をリアルに再現できるのもイオン・ヒューマンの特徴だ。モノクロ写真であっても、データベース側がカラーデータを持っているため、3次元モデルはカラー化することができる。

　スピーチモジュールによる処理を組み合わせることで、例えばフェルメールの代表的名画、「真珠の耳飾りの少女」に描かれている青いターバンを巻いた女性を、かなり自然にしゃべらせることもできる。

絵画にしか登場しない人物が次々に自然に話す映像（映像はイオン・ヒューマンの元となる研究を行ったBlanz, V.、Basso, C.、Poggio, T.、Vetter, Tらによる）

　リアルタイムで顔の筋肉の動きを読み取る技術と、リアルタイムで口や表情を動かす技術を組み合わせると、Webカメラ越しに壮年の男性ユーザーが若い女性になりすますことすら可能という。今はまだ約700ある顔の筋肉すべての動きを完全に再現できるほどではないというが、こうした技術を使うことで、自分の顔を使い、まるで実際にユーザー自身がローリング・ストーンズの曲を歌っているかのように音楽に顔の動きを合わせた映像を作れるという。

高い精度で米国土安全保障省とも協業

　米EON Realityはイオン・ヒューマンの技術の一部をSNSや仮想世界でアバターを使うエンドユーザー向けに広く提供していく予定だが、もともと同社は航空産業や製造業の大手を顧客に持つ3次元映像技術企業だ。イオン・ヒューマンは、そんな同社にとって初めてのコンシューマ向けサービスとなる。基本的な機能は無償サービスとして提供するが、より高度なアプリケーションはASPサービスやコンテンツ制作サービス、ライセンス販売などで事業化していくという。

　同社が想定する市場はさまざまだ。まず、太ったりやせたり、実際より美形にするといった映像が簡単に作れるため、美容整形、フィットネス、医療関係での応用があるという。また、ECサイトでサングラスや帽子などを、よりリアルに近い形で“試着”できるようなサービスも考えられるという。

　エンターテイメントでは3次元仮想空間上のアバターのほか、先のローリングストーンズの曲を歌う3次元映像の例にあるように音楽関連企業との事業展開が考えられるという。計算処理はさほど重たくないため、カメラに組み込むこともできるという。

　このほか同社は、米国土安全保障省と協力して、過去の膨大な2次元顔写真を3次元データ化する検討も始めたという。「ソニーが2次元写真から2.5次元ともいうべき3次元データを作りだす類似のサービスを持っているが、これはどちらかといえばエンターテイメント向け。イオン・ヒューマンは、高度なニーズに応える精度が出せる点が異なる」（EON Realityのレジェルスカー氏）。