アテンション機構（3/4）変形例の検討
はぐれ弁理士 PA Tora-O です。前回（第２回）では、“Seq2Seq with Attention” について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回（第３回）は、“Seq2Seq with Attention” の様々なバリエーションについて検討していきます。
第１変形例
前回では、隠れ状態行列｛Ｈ１｝のすべての要素、すなわち、Ｓ個の隠れ状態ベクトルｈ１を使ってコンテキストベクトルｃ(ｔ) を計算する、と説明しました。この計算モデルは、注意の対象範囲が全体的にわたるという意味で、グローバルアテンションモデル（Global Attention Model）と呼ばれています。
ところが、このモデルでは、Ｓの値が増加するにつれて計算量が増加するという問題が起こり得ます。その解決策として、注意の対象範囲を局所的に絞ることで計算コストを削減する手法が考えられます。本論文では、この計算モデルは、ローカルアテンションモデル（Local Attention Model）と呼ばれています。
出展：Effective Approaches to Attention-based Neural Machine Translation
図１のモデルでは、隠れ状態ベクトルｈ２(ｔ) に対応する基準位置（Ｐ番目）を求め、この位置に近い（Ｐ－Ｄ）～（Ｐ＋Ｄ）番目の隠れ状態ベクトルｈ１のみを用いて、注目度ａ(ｔ) およびコンテキストベクトルｃ(ｔ) を計算します。例えば、再帰演算の回数（＝ｔ）をＰとしてもよいし、ベクトル類似度が最大となる位置をＰとしても構いません。
第２変形例
前回では、再帰演算層が１層である構成例を説明しましたが、これが２層以上であるデコーダにも適用されます。
図２のモデルでは、２層の再帰演算層を含んで構成されるエンコーダ／デコーダを想定しています。デコーダ側の１番目のアテンション層にはエンコーダ側の隠れ状態行列｛Ｈ１１｝が供給されるとともに、デコーダ側の２番目のアテンション層にはエンコーダ側の隠れ状態行列｛Ｈ２２｝が供給されます。ここで、｛Ｈ１１｝、｛Ｈ１２｝は、エンコーダ側の１、２番目の再帰演算層から出力される隠れ状態行列です。
このように、アテンション機構を再帰演算層ごとに実装してもよいですし、さらに他のバリエーションも考えられます。例えば、［１］１番目のアテンション層を省略する構成や、［２］隠れ状態行列｛Ｈ１１｝の出力を省略する代わりに、１番目のアテンション層にも｛Ｈ１２｝を供給する構成、などが挙げられます。
第３変形例
前回では、アテンション層がＬ次元のコンテキストベクトルｃ(ｔ) を出力する、と説明しました。これに代えて、図３に示すように、２つのベクトルｃ(ｔ) 、ｈ２(ｔ) を連結（Concatenate）して２・Ｌ次元のベクトルを出力しても構いません。
まとめ
以上のように、アテンション機構は、その内部構造のみならずデコーダへの組み込み構造も色々変更できる点で、技術的特徴を捉えにくい発明であるとも言えます。果たして、これらのバリエーションをすべて網羅するクレーム表現は可能でしょうか？ 次回までの宿題としておきます。
以上、今回（第３回）は、アテンション機構の変形例について検討しました。テーマ最終回（第４回）は、過去３回分を総括すべく、一連の発明ストーリーを完成させてみます。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
