【3/18〜】Amazon、VMwareが語る『クラウドの未来』        

“Photoshopマジック”の使い手は失業!?

Web2.0時代の画像補完技術

2007/08/29

　1万枚の写真を使ってできないことで、200万枚の写真ならできることがある。それは熟練したPhotoshopの使い手が1時間かかってやる写真加工の作業を、コンピュータ処理で自動化してしまうこと――。8月初頭に米国サンディエゴで開催された画像処理技術の祭典、SIGGRAPH 2007で発表されたシーン補完技術は、何百万枚もの写真をネットで集められるWeb2.0時代の画像処理技術だ。

写っている邪魔な対象物を自然に置換

　「数百万枚の写真を使ったシーン補完」と題した論文と、その成果を発表したのは、カーネギーメロン大学のジェームズ・ヘイズ（James Hays）氏とアレクセイ・A・エフロス（Alexei A. Efros）氏。この補完技術のアイデアは、元となる写真に似た構図や配色の写真を、ネット上で集めた膨大な数の写真データベースから探し出し、元の写真の消したい部分、あるいは復元したい部分に当てはめるというものだ。通りを走っていたクルマが、あたかもそこに何もなかったかのように自然に消えたり、海岸沿いの街を自然な岩肌の山で消してしまったりできる。見栄えの悪い工事中の建物を、別の建物にしてしまったり、橋桁や鉄塔など邪魔な建造物を消してしまったという経験は、広告写真の仕事をしているデザイナなら経験があることだろう。

左上がオリジナルの画像。右上は適用したマスク。左下は200万枚の画像データベースから探し出された、元画像に似た画像。右下は合成後の画像

合成結果画像の中には失敗も含まれる。異様に自然な不自然さだ

左がオリジナル、右が合成画像。右側の看板が、まったく別の建物に置き換わっている

　これまでシーン補完技術には、画像中の消したい部分を、その周囲の画像から推測して“ごまかす”方法と、今回ヘイズ氏とエフロス氏が開発したように、ほかの画像と合成する方法とが知られていた。前者の方法はさまざまなグラフィックスソフトで採り入れられているが、比較的単調な質感の布のような対象を補完する以外では、あまり実用的ではなかった。また、後者の方法は人間が手作業で処理するのが一般的だった。ヘイズ氏とエフロス氏は、その作業を半自動化し、それが実用レベルとなることを証明した形だ。

Flickrから230万枚の写真をダウンロード

　彼らが行ったテストでは最終的には、Flickrの30のグループの中から、自然の風景や街の写真を中心に230万枚の写真、396GB分のJPEGデータを15台のクラスターマシンにダウンロードしたという。集めた画像は「部分画像が何であるのか」という意味論的なレベルで、機械的なグループ分けを行った。実際のマッチングの際には、似た画像を探り出し出すだけで良いため、データベース中の99.99％の画像は無視されるという。

　両氏は論文の中で、ネット上で入手可能な画像の数がクリティカルだったという。当初、データベースに登録する画像の数を1万枚にして実験した結果は失望せざるを得ないものだったというが、画像の数を1万枚から200万枚に増やしたところ、クオリティが飛躍的に向上したという。Webベースのオンラインサービスならば、このアプローチは有効で、Web2.0時代の画像処理アルゴリズムだ。

　実際に合成写真を被験者に見せるテストをしたところ、合成写真と見抜かれるのは6割程度で、従来の9割に比べてはるかに低いという。ただし、これは十分に長い時間をかけて写真を見た場合の数字で、10秒程度であれば合成と見抜かれた写真は4割以下だったという。

　200万という数字はPicasaやFlickrのような画像共有サイトにストアされている写真の数億枚と比べると、ごくごく小さな割合だとして、両氏はさらに想像力をたくましくし、こんな究極の疑問を論文の最後で投げかけている。写真のどこか一部を補完するだけでなく、「目で見える世界のすべてを表現できるほど十分に大きなデータを集めることはできるか？」。両氏は、今回の研究の世界によって、それが可能であるばかりでなく、必要とされる画像の数は天文学的な数字にならないのではないかとしている。

（＠IT 西村賢）

情報をお寄せください：