Unrolled GAN(3/4)学習メカニズムの考察

はぐれ弁理士 PA Tora-O です。前回(第2回)では、Unrolled GAN の実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回)は、Unrolled GAN の学習メカニズムについて考察します。

アトラクタモデルの説明

この学習メカニズムを説明するため、図1に示すアトラクタモデルを導入します。

【図1】アトラクタモデルの模式図

以下、2グループの学習パラメータ群(θ,θ)の組み合わせを多次元空間で表現します。実際には、学習パラメータは無数に用意されているのですが、図示の便宜上、1軸ずつで表現します。平面座標系の横軸が弁別器(D)のパラメータ{θ}、縦軸が生成器(G)のパラメータ{θ}にそれぞれ相当します。ここで、丸印のボールは、各々の学習ステップにおける「状態」を示しています。つまり、このモデルでは、パラメータの更新過程がボールの移動によって可視化されます。

初期状態にある学習パラメータ群(θ,θ)は、確率的勾配降下法(SGD法)などの更新則に従って逐次的に更新されます。この場合、ボールの初期位置が、目的関数の大局的最小点(Global Minimum)に相当する真正アトラクタの近くにある場合、学習(=移動)を繰り返すことで最終的には、ボールが真正アトラクタに到達します。

嵌まり込みの問題

ところで、この多次元空間には、真正アトラクタの他にも、目的関数の局所的最小点(Local Minima)に相当する疑似アトラクタが無数に存在しています。ボールの初期位置によっては、移動の途中で様々な疑似アトラクタに遭遇する可能性があります。もし、不安定な疑似アトラクタに近づいた場合、ボールがそこから抜け出すことは容易です。しかし、準安定的な疑似アトラクタに嵌り込んでしまうと、そこから抜け出しにくい場合があります。例えば、第1回記事で最初に説明したモード崩壊(Mode Collapse)の場合がこれに該当します。

【図2】局所的最小点への嵌まり込み

図2は、ボール、疑似アトラクタおよび真正アトラクタが、この順で一直線上にある状況を示しています。弁別器(D)および生成器(G)は、相互に結託して近場にあるアトラクタに向かってみたものの、到着したアトラクタが「疑似」であることに気づき、そこに嵌まり込んで抜け出せません。

嵌まり込みの回避策(二人羽織の原理?)

そこで、Unrolled GAN では、代理目的関数(Surrogate Objective Function)を導入することで「嵌まり込み」の回避を試みています。そのメカニズムについて、以下の図3、図4を用いて説明します。

【図3】Unrolled GAN の更新則

前回では、Unrolled GAN において、弁別器(D)と生成器(G)とは、学習パラメータ群を更新するための目的関数が異なっていると述べました。厳密には、共通する目的関数の引数{θ}のみが異なっていると言った方が正しいです。

つまり、図3のように、弁別器(D)は、ボールの現在位置からアトラクタの存在を俯瞰し、目先にある疑似アトラクタに近づくように移動量を決定します。一方、生成器(G)は、先取りしてK回分の学習を行うことで、現在位置とは異なるボールの位置からアトラクタの存在を俯瞰し、目先にある真正アトラクタに近づくように移動量を決定します。

【図4】Unrolled GAN による回避プロセス

図4に示すように、弁別器(D)と生成器(G)が小競り合いしながら学習を繰り返すことで、ボールは、疑似アトラクタへの嵌まり込みを上手く回避しながら、最終的には真正アトラクタに到達することができます。

このように、両方の学習器に関して、真正アトラクタに辿り着くという目的は一致するものの、辿り着くまでの挙動が一致しないことから、このメカニズムを「二人羽織の原理」と勝手に名付けてみました。これで学習メカニズムを感覚的に説明できましたが、この原理を文章としてどう説明したらよいでしょうか?特許明細書に「二人羽織」と書いても意味が通じないですし。

 

以上、今回(第3回)は、Unrolled GAN の発明ポイントについて考察しました。テーマ最終回(第4回)は、過去3回分の総括として、一連の発明ストーリーを作成します。

↓ブログランキングに参加しています。よろしければ1クリックお願いします。

にほんブログ村 士業ブログ 弁理士へ
にほんブログ村

にほんブログ村 IT技術ブログ IT技術メモへ
にほんブログ村