Unrolled GAN(1/4)発明の概要

はぐれ弁理士 PA Tora-O です。今回のテーマとして、敵対的生成ネットワーク(GAN)に関する学習アルゴリズムの1つである Unrolled GAN を題材に取り上げます。

背景

GANは、データの真贋判定を行う弁別器(Discriminator)と協働して生成器(Generator)を学習させる、という単純かつ斬新な手法です。生成器Gおよび弁別器Dの行動原理は、概ね以下の通りです。

 ・生成器Gは、標本値(z)から画像を生成する。
 ・弁別器Dは、真正の画像に対して正解(1)、真正でない画像に対して不正解(0)であるとそれぞれ回答する。
 ・生成器Gは、弁別器Dに、自身が生成した画像が正解(1)であると回答させようと頑張ってみる。
 ・弁別器Dは、生成器Gが生成した画像が不正解(0)であると回答しようと頑張ってみる。

なお、詳細な説明については、以下の記事を参照してください。
GAN(2/4)実施例の説明

問題の所在

GANの学習に関する問題点として、[1]収束の不安定性(目的関数の振動・発散)、[2]モード崩壊、などが挙げられます。特に、モード崩壊(Mode Collapse)は、生成器が、複数の学習データを区別して再現できなくなる現象をいいます。

【図1】モード崩壊の模式図

図1の左側は、生成器に入力されるシード値{z}を変えることで、「1」と「7」の画像を棲み分けて生成できる理想状態を示しています。一方、図1の右側は、モード崩壊の発生により、シード値{z}にかかわらず同一の画像(「1」と「7」の中間的な画像)が生成される状態を示しています。連想記憶モデル風に言えば、学習の途中で、複数アトラクタの混合状態(Mixed State)、つまり、エネルギー関数の局所的最小点(Local Minima)に嵌まり込むような現象が起こります。

解決手段

そこで、GANの学習アルゴリズムを改良した Unrolled GAN が Luke Metz 氏らによって提案されました。この技術は、[1]目的関数の設定方法、[2]学習パラメータ群の更新方法、に大きな特徴があります。本論文に掲載された代表的な図面は以下の通りです(図2)。

【図2】Unrolled GAN の概略図

出展:Unrolled Generative Adversarial Networks

本論文を読みながらであれば本図の趣旨を十分に理解できますが、これだけではちょっと何言ってるかわからないです。さすがに補足的な説明が必要と思われます。

 

以上、今回(第1回)は、Unrolled GAN の概要について説明しました。次回(第2回)は、Unrolled GAN の実施例について説明します。

↓ブログランキングに参加しています。よろしければ1クリックお願いします。

にほんブログ村 士業ブログ 弁理士へ
にほんブログ村

にほんブログ村 IT技術ブログ IT技術メモへ
にほんブログ村