Negative Sampling（2/4）具体的な実施例
はぐれ弁理士 PA Tora-O です。前回（第１回）では、“Negative Sampling” の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。
今回（第２回）は、“Negative Sampling” の具体的な実施例について、前回【図３】の「目的関数算出部」の機能を中心に説明していきます。
計算成分の選択
目的関数の計算に先立ち、Ｎ個の演算ユニット（ＮＬ本の結合重み）の中からｎ個（ｎＬ本）を選択します。先に述べた「ドロップアウト」では、確率がｐ＝ (ｎ／Ｎ) となるように、Ｎ個の母集団の中からｎ個をランダムに抽出します。また、この確率（ｐ）は、例えばｐ＝0.5 と、それなりに大きい値に設定されます。
これに対して、“Negative Sampling” では、［１］１個の正例を必ず選択し、［２］確率がｐ＝(ｎ－１)/(Ｎ－１) となるように、残り（Ｎ－１）個の母集団の中から（ｎ－１）個の負例をランダムに抽出します（図１）。
ここで、正例（Positive Example）とは “one-hot vector” の成分値が「１」である単語を意味し、負例（Negative Example）とは “one-hot vector” の成分値が「０」である単語を意味します。このようにして、Ｎ個の演算ユニットのうちのｎ個が有効化されるとともに、残りの（Ｎ－ｎ）個が無効化されます。ここで、ｎ≪Ｎ を満たすため、確率（ｐ）が０に近い微小値に設定される点にも留意しましょう。
目的関数の計算
次に、選択した演算ユニットからのｎ個の出力値｛Ｏｉ｝を用いて、ｎＬ本の結合重みに関する更新量を決定するための目的関数（ここでは、損失項のみ）を計算します。“Word2Vec” では、出力側の活性化関数がソフトマックス（出力値が［０，１］の確率）であるため、損失項にはこの類の回帰問題に適した交差エントロピー（Cross Entropy）が選択されます。
図２に示すように、出力値毎の損失を求め、ｎ個の損失を加算することで、システム全体の損失項（つまり、目的関数）を計算します。ここで、Ｆ(・) は損失関数であり、図３に示すように、正例（pos）であるか負例（neg）であるかに応じて関数形が切り替わります。
正例タイプの関数では、正解ｘ＝1 の場合に損失が最小（Loss=0）になり、不正解ｘ＝0 に近づくにつれて損失が単調に増加していきます。一方、負例タイプの関数では、正解ｘ＝0 の場合に損失が最小（Loss=0）になり、不正解ｘ＝1 に近づくにつれて損失が単調に増加していきます。
結合重みの更新
最後に、誤差逆伝播法（Backpropagation）により、上記した目的関数を用いて（ｎＬ）本の結合重みを更新します。ここでは、オンライン学習の例を説明しましたが、バッチ学習あるいはミニバッチ学習であっても構いません。
以上、今回（第２回）は、“Negative Sampling” の実施例について説明しました。次回（第３回）は、ドロップアウトとの相違点を念頭に入れつつ、“Negative Sampling” 特有の作用効果について考察してみます。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
