Doc2Vec（5/5）ＰＶ－ＤＭ＜後編＞
はぐれ弁理士 PA Tora-O です。前回（第４回）では、ＰＶ－ＤＭモデルの概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回（第５回）は、学習方法に関する補足的な説明を行った上で、クレーム骨子を作成してみます。
ＰＶ－ＤＭの学習方法
前回の記事（図２）で示したネットワーク構造に対して一から学習を開始しても一応問題ないのですが、これでは学習の効率が非常に悪くなります。そこで、ＰＶ－ＤＭモデルでは、学習方法に工夫が施されています。ＰＶ－ＤＭの “Distributed Memory” には、予め定めた単語の分散表現を記憶して学習に活用する、という意図があると考えられます。次の図１に、ＰＶ－ＤＭの等価ネットワークを模式的に示しましょう。
ここで、｛Ｗcom｝は、コーパス（Corpus）に登録された全体の段落及び単語に対して、Word2Vec などの既存の手法を用いて計算される結合重み行列です。学習の際は、｛Ｗcom｝を固定させておき、他の結合重み行列｛Ｗ０｝,｛ＷＫ｝のみを更新させます。これにより、単語間の関係性を反映させた学習を実行可能となり、段落と単語の間の関係性（最終的には、段落間の関係性）を一層高い精度で定量化することができます。
包括的クレームの作成
以上のように、Doc2Vec を構成する２つのモデルについて説明しました。以下、ＰＶ－ＤＭのネットワークが、基本モデル（PV-DBOW）を部分的に含んでいる構造的特徴に着目し、両方のモデルを包含するクレーム骨子を作成してみました。今回のクレーム案では、Doc2Vec の亜種モデルをなるべく包含するように表現しています。それでも何らかの穴があるとは思いますが。
【クレーム骨子】（Doc2Vec）
Ｍ個の単語のうちのいずれかを組み合わせたＮ個の単語列からなる単語列群の分散表現を行う方法であって、
［１］単語列のラベル集合を入力するＮ個の演算ユニットからなる１層の入力層、
［２］１≦Ｐ＜Ｎの関係を満たすＰ個の演算ユニットを含む１層の中間層、および
［３］単語のラベル集合を出力するＭ個の演算ユニットからなるＬ層（１≦Ｌ≦Ｋ）の出力層
が全結合により順次接続された構造を含むニューラルネットワークを用いて、各々の単語列に含まれるＫ個の連続する単語同士の関係性を学習するステップと、
学習を通じて決定された入力層と中間層との間の結合重み行列から、連続値の成分を有するＰ次元のベクトルを単語列毎に求めるステップと、
を備えることを特徴とする分散表現方法。（３１４文字）
（注）PV-DBOWクレームに対する変更箇所を赤色太字で示しています。
以上をもちまして、Doc2Vec の事例検討を終了します。次回から、また別のテーマに移ります。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
