自然言語処理

Thumbnail of post image 110

はぐれ弁理士 PA Tora-O です。前回(第3回)では、アテンション機構の変形例について検討しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第4回)は、これまでの検討を踏まえ、クレームを含む発明ストー ...

自然言語処理

Thumbnail of post image 012

はぐれ弁理士 PA Tora-O です。前回(第2回)では、“Seq2Seq with Attention” について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回)は、“Seq2Seq wi ...

自然言語処理

Thumbnail of post image 169

はぐれ弁理士 PA Tora-O です。前回(第1回)では、アテンション機構の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、アテンション機構の実装例として、“Seq2Seq ...

自然言語処理

Thumbnail of post image 049

はぐれ弁理士 PA Tora-O です。今回のテーマとして、ニューラル機械翻訳(NMT)における頻出の手法であるアテンション機構(Attention Mechanism)を題材に取り上げていきます。

背景

いわゆる “Wor ...

自然言語処理

Thumbnail of post image 035

はぐれ弁理士 PA Tora-O です。前回(第3回)では、Seq2Seq の実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回は、過去3回分の検討を踏まえ、発明ストーリーの一例を提示します ...

自然言語処理

Thumbnail of post image 118

はぐれ弁理士 PA Tora-O です。前回(第2回)では、Seq2Seq の前提知識として、再帰型ニューラルネットワーク(RNN)の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回 ...

自然言語処理

Thumbnail of post image 107

はぐれ弁理士 PA Tora-O です。前回(第1回)では、Seq2Seq の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、Seq2Seq を理解する上での前提知識ともいえる ...

自然言語処理

Thumbnail of post image 167

はぐれ弁理士 PA Tora-O です。今回のテーマとして、ニューラル機械翻訳(NMT)の先駆けとも言える “Seq2Seq” を題材に取り上げていきます。Seq2Seq は、文字列(From Sequence)から文字列へ(To S ...

自然言語処理

Thumbnail of post image 053

はぐれ弁理士 PA Tora-O です。前回(第4回)では、PV-DMモデルの概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第5回)は、学習方法に関する補足的な説明を行った上で、クレーム ...

自然言語処理

Thumbnail of post image 111

はぐれ弁理士 PA Tora-O です。第2~第3回にわたって、PV-DBOW モデルの概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第4回)から、PV-DM(Distributed M ...