ドロップアウト（3/4）クレーム骨子の試作
はぐれ弁理士 PA Tora-O です。前回（第２回）では、ドロップアウトの実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。
今回（第３回）は、ドロップアウトに関するクレーム骨子を試作・提示した上で、このような表現になった理由についてポイント解説します。当然ながら、比較対象（＝従来技術）の認定によってクレームの作成方針が異なってきますが、この技術の本質部分を１個のクレームのみで表現するとしたら？という前提で作成しました。それでは、ドロップアウトのクレーム骨子は、以下の通りです。
クレーム骨子
入力層、１層以上の中間層、および出力層を順次接続して構成されるニューラルネットワークに関して、コンピュータが、以下のステップ（ａ），（ｂ）を順次繰り返すことを特徴とする学習方法。
（ａ）中間層を構成する複数の演算ユニットの中から一定の割合で１個以上の演算ユニットを無作為に選択し、
（ｂ）選択された演算ユニットの入力、演算または出力を無効化した状態で、ニューラルネットワークに対する学習処理を行う。（１９７字）
ポイント解説
１層以上の中間層
入力層および出力層のみの単層モデルではドロップアウトを適用できないため、中間層の存在を明記しています。
ニューラルネットワークの学習方法
とりあえず最も書きやすい方法クレームとして記述しました。特許実務の場合、発明の多面的保護の観点から、装置クレームやプログラムクレームの追加を検討しましょう。
ステップ（ａ），（ｂ）
このツーステップが学習の実行単位に相当します。ドロップアウトは、バッチ学習、ミニバッチ学習、オンライン学習のいずれにも適用できそうです。オンライン学習に適用するかどうかちょっと怪しいですが、特許的にはクレーム範囲からあえて除外する必要がないと考えます。
繰り返す
１回の実行だけでは、単なるモデルの縮約と同じになってしまいます。そこで、本技術をより正確に表現するため、反復的動作であることを明示します。
中間層
基本的には「中間層」が対象であると思われるため、「中間層」に限定しています。入力層又は出力層も含めたいのであれば、単に「層」としてもよいでしょう。
無作為に選択
教師データを選択する順序との間で非同期的（Out of Phase）になるように上手く調整すれば、ドロップアウトを選択する順序に規則性があったとしても、疑似ランダムの発生効果が得られます。しかし、「規則的」を併記しようとすると、必然的に同期的（In-Phase）の場合も含まれるので、ドロップアウト特有の作用効果を主張しにくそうです。今回は、「無作為」のみで妥協しておきます。
入力、演算又は出力を無効化
まずは直感的に、単に「演算ユニットの無効化」と表現したいところです。この表現を用いれば、第１実施例の「ユニットの除外」、第２実施例の「出力値の置換」をカバーしそうです。が、演算ユニット自体が正常に動作している第３実施例の「結合重みの細工」までカバーできているか否か多少の不安が残ります。
そこで、入力（第１）、演算（第２）、出力（第３）を並列的に追加することで万全を期しています。この改良された表現により、順伝播及び逆伝播の双方向に対応できます。なお、「無効化」の定義については明細書中に記載すればよいでしょう。
以上、今回（第３回）は、ドロップアウトについてクレーム骨子を試作し、その理由について説明しました。テーマ最終回（第４回）は、今まで３回分の総括と、この事例検討の所感を述べたいと思います。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
