入力テキストを基に「動画モンタージュ」を作成するツール、国際大学チームが開発一貫したストーリーを作りやすい

清華大学と北京航空航天大学、ハーバード大学、IDCヘルズリヤ大学のコンピュータ科学者のチームが、特定のテーマに関するテキストを入力するだけで一つながりの動画モンタージュを作成する新ツール「Write-A-Video」を開発した。

» 2019年11月20日 10時30分 公開
[@IT]

この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。

 中国の清華大学と北京航空航天大学、米国のハーバード大学、イスラエルのIDCヘルズリヤ大学のコンピュータ科学者からなる研究チームが、特定のテーマに関するテキストに基づいて動画を作成するツール「Write-A-Video」を開発した。

 Write-A-Videoは、ユーザーがテキストを入力すると、動画リポジトリから、テキストに応じたシーンやショットを自動的に選択し、動画を作成する。そのため、動画編集の初心者でも、シンプルでユーザーフレンドリーな方法で良質な動画モンタージュを作成できる。

 現代はスマートフォンに大量の動画をため込んでいるユーザーも珍しくない。このようなユーザーに適したツールなのだという。

GUI操作ではなく、表現したい内容を記述すればよい

 既存の動画編集ツールは、動画の処理や編集の知識がないユーザーには使いこなすことが難しい。

 動画編集ツールの典型的な操作画面では、複数の動画ごとに始点から終点までのタイムラインが用意されている。ユーザーは元動画の内容を確認しながら、必要な部分を何カ所か選択し、その後、1本の動画にまとめ上げなければならない。動画をいったん視聴しなければならない上に、細かいコマ送り操作をしながら適切な開始点と終了点に印を付けていく操作が必要だ。

 開発チームがアップロードした動作例では、短い英文を打ち込むだけで、キリンの特徴を表す動画を作り出した(※1)。

※1 "The giraffe is the world's tallest animal, and well known for its long legs and neck. It has a brown mane on the neck, and its head has two hairy horns. And it is quite interesting that they fight using their long necks." 「キリンは世界で最も背の高い動物で、長い脚と首でよく知られている。茶色のたてがみが首にあり、頭には2本の毛深い角がある。そして、長い首を使って戦うのは非常に興味深い」



 Write-A-Videoの動作は大きく3段階に分かれる。まずユーザーが入力した短文からキーワードや慣用句を抜き出す。次にビジュアルセマンティックマッチング技術を用いてビデオリポジトリから必要な動画を選び出す。最後にテキストの流れと合うように動画をつなぎ合わせる。

単なる動画検索エンジンではない

Copyright © ITmedia, Inc. All Rights Reserved.

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。