ドロップアウト(3/4)クレーム骨子の試作

はぐれ弁理士 PA Tora-O です。前回(第2回)では、ドロップアウトの実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。

今回(第3回)は、ドロップアウトに関するクレーム骨子を試作・提示した上で、このような表現になった理由についてポイント解説します。当然ながら、比較対象(=従来技術)の認定によってクレームの作成方針が異なってきますが、この技術の本質部分を1個のクレームのみで表現するとしたら?という前提で作成しました。それでは、ドロップアウトのクレーム骨子は、以下の通りです。

クレーム骨子

 入力層、1層以上の中間層、および出力層を順次接続して構成されるニューラルネットワークに関して、コンピュータが、以下のステップ(a),(b)を順次繰り返すことを特徴とする学習方法
(a)中間層を構成する複数の演算ユニットの中から一定の割合で1個以上の演算ユニットを無作為に選択し、
(b)選択された演算ユニットの入力、演算または出力を無効化した状態で、ニューラルネットワークに対する学習処理を行う。(197字)

ポイント解説

1層以上の中間層
入力層および出力層のみの単層モデルではドロップアウトを適用できないため、中間層の存在を明記しています。

ニューラルネットワークの学習方法
とりあえず最も書きやすい方法クレームとして記述しました。特許実務の場合、発明の多面的保護の観点から、装置クレームやプログラムクレームの追加を検討しましょう。

ステップ(a),(b)
このツーステップが学習の実行単位に相当します。ドロップアウトは、バッチ学習、ミニバッチ学習、オンライン学習のいずれにも適用できそうです。オンライン学習に適用するかどうかちょっと怪しいですが、特許的にはクレーム範囲からあえて除外する必要がないと考えます。

繰り返す
1回の実行だけでは、単なるモデルの縮約と同じになってしまいます。そこで、本技術をより正確に表現するため、反復的動作であることを明示します。

中間層
基本的には「中間層」が対象であると思われるため、「中間層」に限定しています。入力層又は出力層も含めたいのであれば、単に「層」としてもよいでしょう。

無作為に選択
教師データを選択する順序との間で非同期的(Out of Phase)になるように上手く調整すれば、ドロップアウトを選択する順序に規則性があったとしても、疑似ランダムの発生効果が得られます。しかし、「規則的」を併記しようとすると、必然的に同期的(In-Phase)の場合も含まれるので、ドロップアウト特有の作用効果を主張しにくそうです。今回は、「無作為」のみで妥協しておきます。

入力、演算又は出力を無効化
まずは直感的に、単に「演算ユニットの無効化」と表現したいところです。この表現を用いれば、第1実施例の「ユニットの除外」、第2実施例の「出力値の置換」をカバーしそうです。が、演算ユニット自体が正常に動作している第3実施例の「結合重みの細工」までカバーできているか否か多少の不安が残ります。
そこで、入力(第1)、演算(第2)、出力(第3)を並列的に追加することで万全を期しています。この改良された表現により、順伝播及び逆伝播の双方向に対応できます。なお、「無効化」の定義については明細書中に記載すればよいでしょう。

以上、今回(第3回)は、ドロップアウトについてクレーム骨子を試作し、その理由について説明しました。テーマ最終回(第4回)は、今まで3回分の総括と、この事例検討の所感を述べたいと思います。

↓ブログランキングに参加しています。よろしければ1クリックお願いします。

にほんブログ村 士業ブログ 弁理士へ
にほんブログ村

にほんブログ村 IT技術ブログ IT技術メモへ
にほんブログ村