ＲｅＬＵ関数 (4/5) ＲｅＬＵの改良案
はぐれ弁理士 PA Tora-O です。前回（第３回）では、活性化関数の要求仕様を踏まえてクレーム第２形態を作成しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。
今回（第４回）は、ＲｅＬＵの改良案、言い換えれば迂回技術を例示しつつ、クレームの妥当性についてレビューを実施します。まずは、評価対象のクレームを挙げておきましょう。
【クレーム骨子】（前回より再掲）
複数の演算ユニットを含んで構成されるニューラルネットワークを用いた演算方法であって、少なくとも１個の演算ユニットの活性化関数が、以下の２つの条件Ａ，Ｂを同時に満たすことを特徴とする演算方法。
（条件Ａ）全区間内に少なくとも１つの屈曲点があること。
（条件Ｂ）屈曲点から正側に延びる直線の傾きが１であること。
改良案その１：Ｌｅａｋｙ ＲｅＬＵ
ＲｅＬＵでは、負の区間における出力を一切無効（Ｆ（ｘ）＝０）にします。例えば、活性化を抑制させる因子（実際のニューロンにおけるＧＡＢＡの発火抑制効果）を加えた方が、学習時の収束性がより高まるかもしれません。そこで、図１に示すようなＬｅａｋｙ ＲｅＬＵが提案されました。ちなみに、この関数における負側の傾きは 0.01 とかなり小さな値に設定されています！関数式は、Ｆ（ｘ）＝ｍａｘ（ｘ，0.01ｘ）となります。
【図１】Ｌｅａｋｙ ＲｅＬＵ
これに対して、上記したクレームでは、負の区間における関数の形状的特徴を一切規定していません。つまり、１以外であれば、負側の傾きが（１）０、（２）正、（３）負、のいずれの関数であってもクレーム範囲に含まれます。結論として、改良案その１についてカバー済み（ＯＫ判定）という評価になりました。
なお、Ｌｅａｋｙ ＲｅＬＵの類型には、ＰＲｅＬＵ（Parametrized ReLU）、ＲＲｅＬＵ（Randomized ReLU）などがあります。これらの名称だけで関数の特徴が何となく理解できるでしょう。
改良案その２：ＥＬＵ
ＲｅＬＵでは、屈曲点ｘ＝０で滑らかになっていません。例えば、全区間にわたって滑らかな関数である方が、一次微分関数も連続である分だけ学習時の収束性がより高まるかもしれません。そこで、図２に示すようなＥＬＵ（Exponential Linear Unit）が提案されました。要は、ＥＬＵとは、ｘ＝－∞でｙ＝－ａ（ａは正値）に収束するｔａｎｈ関数を用いて、直線の一端（０，０）を滑らかに接続した関数です。
【図２】ＥＬＵ
これに対して、上記したクレームでは、「屈曲点」と記載されているので、屈曲点がないＥＬＵはクレーム範囲から外れます。結論として、改良案その２についてカバー未了（ＮＧ判定）という評価になりました。ただし、クレーム表現をもう少し工夫すれば何とか対応できそうな感じでしょうか。
改良案その３：ＲｅＬＵ６
ＲｅＬＵでは、正の区間において入力値の増加に応じて出力値も増加していきます。例えば、従来型の活性化関数のように、適切な上限値でクリッピングすれば、学習時の収束性がより高まるかもしれません。そこで、図３に示すようなＲｅＬＵ６（×ロト６）が提案されました。この「６」は経験則的に定められた上限値であり、ＲｅＬＵ100,056であっても構いません。
【図３】ＲｅＬＵ６
これに対して、上記したクレームでは、「直線」と記載されているので、正側に無限に延びる傾き１の直線を有さないＲｅＬＵ６はクレーム範囲から外れます。結論として、改良案その３についてもカバー未了（ＮＧ判定）という評価になりました。ただし、こちらの方も、クレーム表現をもう少し工夫すれば何とか対応できそうな感じです。
なお、ＲｅＬＵ６の類型には、ハードシグモイド（Hard Sigmoid）や、Ｈｔａｎｈ（Hard Hyperbolic Tangent）などがあります。ハードシグモイドは、ＲｅＬＵ１の直線傾きを１から０．２に変更し、かつＸ軸負方向に２．５だけ平行移動した関数に相当します。また、Ｈｔａｎｈは、ＲｅＬＵ±１に相当し、ｍａｘ｛－１，ｍｉｎ（ｘ，１）｝の関数式で表されます。
以上、今回（第４回）は、クレーム第２形態のレビューを実施しましたが、どうやらまだ完全体ではなかったことが判明しました。テーマ最終回（第５回）は、今まで４回分の総括と、この事例検討の所感を述べたいと思います。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
