正則化（3/4）クレーム骨子の作成
はぐれ弁理士 PA Tora-O です。前回（第２回）では、正則化の実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。
今回（第３回）は、正則化に関するクレーム骨子を試作・提示した上で、このような表現になった理由についてポイント解説します。当然ながら、比較対象（＝公知技術）の認定によってクレームの作成方針が異なってきますが、今回の比較対象は「損失項のみからなる目的関数」という前提で特に異論はないでしょう。それでは、正則化のクレーム骨子は、以下の通りです。
クレーム骨子
目的関数の値が小さくなるように、学習器の演算規則を定める学習パラメータセットを更新する学習方法であって、
目的関数は、学習器の出力値と教示値の差分および学習パラメータセットを用いて記述される損失項に対して、学習パラメータセットのノルムが減少するにつれて該目的関数の値を小さくさせる正規化因子を作用した関数であることを特徴とする学習方法。（１６７文字）
ポイント解説
目的関数の値が小さくなるように
本来ならば、「目的関数が最小値になるように～」と書きたいところです。ところが、通常は、所定の終了条件を満たす場合に学習を打ち切るので、その時点で果たして最小値になっているのか断言できないことがあります。そこで、「最も」の文言を避けて婉曲的な表現をしています。あと、目的関数の値が「小さくなるように」と定めることで、後述する正則化因子が目的関数に与える影響（＝作用の方向性）との関係を明確にすることができます。
なお、この表現に関して、目的関数の正負を反転したものを評価関数として導入した上で、「評価関数の値が大きくなるように学習パラメータセットを更新する」という姑息な迂回技術も一応考えられます。この対策として、例えば、上記した迂回技術も実施形態の１つである旨を明細書に記載しておけば万全でしょう。
学習方法
とりあえず最も書きやすい方法クレームとして記述しました。実際には、発明の多面的保護の観点から、装置クレームやプログラムクレームの追加を検討しましょう。
出力値と教示値の差分
より正確な表現を試みると、例えば、「訓練データの入力値に対応する学習器の出力値と、該入力値に対応する訓練データの教示値との差分」のような感じでしょうか。これだけでも４５文字を費やします。
ノルムが減少するにつれて
正規化項はペナルティ項とも呼ばれることから、技術者にとって「ノルムが増加するにつれて～値を大きくする」の表現の方がより自然であるかと思われます。しかし、今回、クレーム冒頭に「目的関数の値が小さくなるように～」と記載されているので、後段を「小さくする」に合わせた方が発明の趣旨をより理解させやすい表現になると考えます。したがって、「ノルムが減少～」という逆の書き方になります。書き方の優劣というよりも好みの問題であり、どちらでもＯＫです。
因子・作用
ちょっと気にし過ぎかもしれないですが、「項」というと、第１項、第２項、・・・のようにそれぞれ独立した変数の集合体をイメージしてしまいます。そこで、損失項との加算のみならず、乗算、除算、合成（指数関数の肩部）などの様々な形式で組み込まれることを想定し、「正則化因子」や「作用」という表現を用いました。何気なく正則化を付けましたが、単に「因子」の方がベターです。
「目的関数」の値を小さく
感覚的には「ノルムが減少するにつれて小さくなる正則化因子」と表現したいところですが、今回のケースでは適切な表現であるとは言い切れません。前回の除算バーションを例に挙げると、
- １／（Ａ－λ１∑｜Ｗ｜）
- （Ａ－λ１∑｜Ｗ｜）
- λ１∑｜Ｗ｜
のうちのいずれか１つを正則化因子と定義すると、ノルムが減少するにつれて、上から順に、減少／増加／増加します。このように、［１］損失項との関係性、［２］正則化因子の定義の組み合わせによって大小の方向性が変わることを考慮する必要があります。その理由は、加算・乗算のように損失項と正則化項が互いに独立している場合のみならず、除算・合成のように損失項と正則化項が互いに依存する場合も含まれているためです。
そこで、「ノルムが減少するにつれて目的関数の値を小さく」とやや機能的な表現に書き改めることで、想定されるすべてのパターンをカバーできます。この括弧内の記載（ノルムが～値を小さく）が正則化因子を導入する本来の目的ですので、当然といえば当然でしょう。
以上、今回（第３回）は、正則化についてクレーム骨子を試作し、その理由について説明しました。テーマ最終回（第４回）は、今まで３回分の総括と、この事例検討の所感を述べたいと思います。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
