MIT研究チーム、コピー＆ペーストでGANモデルを編集できるツールを開発：GANのルールを直接変更

マサチューセッツ工科大学（MIT）の研究チームが、Generative Adversarial Network（GAN：敵対的生成ネットワーク）モデルの条件を操作できるツールを開発した。

　マサチューセッツ工科大学（MIT）の研究チームがGenerative Adversarial Network（GAN：敵対的生成ネットワーク）編集ツールを開発し、2020年8月23〜28日開催のオンラインカンファレンス「ECCV 2020」で発表した（ECCVは、European Conference on Computer Visionの略）。

　GANは、生成器（ジェネレータ）と識別器（ディスクリミネータ）と呼ばれる2つのニューラルネットワークで構成され、敵対的学習を行うことで極めてリアルな画像や音声を生成する。ほとんどのディープラーニングモデルと同様に、学習には大量のデータセットを必要とする。多くのサンプルを学習するほど、生成する画像や音声の模倣精度が向上する。

　だが、研究チームの論文の主執筆者であるMITの博士課程の学生デビッド・ボー氏はこう述べている。「GANは素晴らしいアーティストだが、見るデータを模倣することしかできない。われわれがGANのルールを直接書き換えることができれば、GANを制約するものは人間の想像力だけになる」

　さらに、同氏はこう説明する。「GANは、データに既に存在するパターンしか学習しない。だが、われわれのツールでは、例えば、帽子をかぶった馬の画像を生成するように、モデルの条件を操作することが可能だ」

　ボー氏によると、GANのニューラルネットワークの層において、木のような特定の特徴物の描画を学習した人工ニューロンを特定し、そのスイッチをオフにすることで、木を消すといったことが可能だという。ボー氏はこの洞察に基づいて、ユーザーが画像に対してドアや雲のような特徴物を追加、削除できるツール「GANPaint」の開発を手伝った。その過程でボー氏は、GANには頑固な面があることに気付いた。「例えば、GANは、空にドアを描かせまいとする」という。

メモリバンクが学習済みパターンセットを関連付ける