正則化（4/4）総括
はぐれ弁理士 PA Tora-O です。前回（第３回）では、正則化に関するクレーム骨子について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。
前回に提案したクレーム骨子を活かそうとすると、以下の発明ストーリーに落ち着きます。仕事ではないのでやや雑に書きますがご了承ください。
発明ストーリー
【従来技術】
機械学習において、結合重みやバイアスなどの学習パラメータを逐次的に更新することで学習が行われる。畳み込みニューラルネットワーク（ＣＮＮ）の登場以来、演算ユニットの個数をより多く、ネットワークの階層をより深く、という設計思想が主流になっている。
【問題点と課題】
問題点は、学習パラメータの自由度が高くなるにつれて過学習の状態に陥りやすくなること。
課題は、目的関数の改良によって過学習を抑制すること。
【クレーム】（前回から再掲）
目的関数の値が小さくなるように、学習器の演算規則を定める学習パラメータセットを更新する学習方法であって、
目的関数は、学習器の出力値と教示値の差分および学習パラメータセットを用いて記述される損失項に対して、学習パラメータセットのノルムが減少するにつれて該目的関数の値を小さくさせる正規化因子を作用した関数であることを特徴とする学習方法。
【作用と効果】
学習パラメータセットのノルムが減少するにつれて目的関数の値をより小さくさせる正則化因子を損失項に対して作用することで、ノルムがより小さい学習パラメータセットが大局的最小値として選択されやすくなる。つまり、正則化因子を含む目的関数を用いた学習を通じて、学習パラメータセットのスパース化が促進される。その結果、学習結果に対する教師データの依存度が弱まり、学習器の汎化性能が向上する。これにより、目的関数の改良によって過学習を抑制することができる。
作者コメント
今回は、数理モデル（つまり、数式）のクレームを立てることの難しさについて触れたいと思います。特にアルゴリズム系の発明ですが、残念ながら、請求項１からいきなり数式を使っている特許出願をよく見かけます。弁理士の立場からして、特許に詳しくない発明者を納得させやすいという側面も確かにありますが、基本的には、クレームの作者が発明の上位概念化を行えないことに原因があると思います。以下の理由により、それはある程度やむを得ないことかと感じます。
数理モデルのクレーム化には、以下の処理＃１～＃４が伴います。
＃１：数理モデルの機能を読み解く。（正則化項による効果の把握）
＃２：数理モデルを文章で表現する。（「正則化項を加算」と表現）
＃３：文章からモデルの拡張を試みる。（乗算・除算などの可能性）
＃４：拡張モデルを含む文言に修正する。（「因子の作用」と表現）
一般的には、弁理士にとって、＃３，＃４の処理は最も得意であると思われます。ところが、＃１，＃２の処理を行う際に、どうしても数学の素養が必要になります。数学に明るい弁理士なんて極めて稀な存在ですから、＃３，＃４に辿り着く前に、費用対効果を考慮してそのまま妥協してしまうケースが多いのではと推測されます。もし可能であれば、数式に頼らずに文章のみでクレーム化し、想定される迂回技術をある程度カバーしておきたいところです。
以上をもちまして、正則化の事例検討を終了します。次回から、また別のテーマに移ります。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
