Doc2Vec（3/5）PV-DBOW＜後編＞
はぐれ弁理士 PA Tora-O です。前回（第２回）では、ＰＶ－ＤＢＯＷモデルの概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回（第３回）は、先に提示した疑問点を解消した上で、クレーム骨子を作成してみます。
PV-DBOW の学習方法
１つの段落がＳ個の単語で構成される場合、教示データの入出力関係が１対多、具体的には、１：（Ｓ－Ｋ＋１）となるので、出力側の「正解」をどのように教示すればよいのかが問題になります。ここで、Ｋは、ウィンドウサイズと呼ばれる変数です。この場合の学習方法の模式図を示すと以下の通りになります。
ざっくり言うと、段落ＩＤが選択される度に、その段落から形成される（Ｓ－Ｋ＋１）個の標本の中からランダム（つまり、等確率）に１個を選択して教示させます。この学習を通じて、ＰＶ－ＤＢＯＷモデルは、段落ＩＤの入力に対して、段落ＩＤの母集団を構成する全標本の平均値を出力するようになります。この表現は技術的に厳密ではないかもしれませんが、感覚的に理解する上で十分であると思われます。
クレームの試作
以上、一通りの疑問が解消されたところで、ＰＶ－ＤＢＯＷのクレーム骨子を作成してみます。幸いなことに、以前の事例検討（Word2Vec）の際に作成したクレームをそのまま活用できました。
参考： Word2Vec（4/4）クレーム骨子の作成
【クレーム骨子】（PV-DBOW）
Ｍ個の単語のうちのいずれかを組み合わせてなるＮ個の単語列からなる単語列群の分散表現を行う方法であって、
［１］単語列のラベル集合を入力するＮ個の演算ユニットからなる１層の入力層、
［２］１≦Ｐ＜Ｎの関係を満たすＰ個の演算ユニットからなる１層の中間層、および
［３］単語のラベル集合を出力するＭ個の演算ユニットからなるＫ層の出力層
が全結合により順次接続されたニューラルネットワークを用いて、各々の単語列に含まれるＫ個の連続する単語同士の関係性を学習するステップと、
学習を通じて決定された入力層と中間層との間の結合重み行列から、連続値の成分を有するＰ次元のベクトルを単語列毎に求めるステップと、
を備えることを特徴とする分散表現方法。（３１１文字）
なお、「段落」には文章の塊という意味がありますので、クレームにそのまま使っても特に問題ない気がしますが、フルの文書の場合は含まれるのかどうか若干心配になりました。とりあえず「単語列」という表現で逃げましたが、より良い表現が見付かり次第、適宜修正します。
まとめ
ＰＶ－ＤＢＯＷモデルでは、上記した学習を通じて結合重み行列を決定することで、段落の分散表現を獲得します。ただ、この手法では、段落と単語の間の関係性を学習しているにすぎず、単語間の関係性があまり考慮されていないように思えます。
そこで、“Doc2Vec“ の論文では、ベストモードとも言えるＰＶ－ＤＭ（Distributed Memory Model of Paragraph Vector）が提案されています。次回（第４回）から、ＰＶ－ＤＭについて詳しく説明します。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
