Transformer の補足説明として,Multi-head cross attention の処理について紹介します.

Transformer の補足説明として,Multi-head cross attention の処理について紹介します.
"/" などの特殊記号が入っている文字列を一括で置き換えるのに少し苦労しましたので,備忘録として残しておきます.
RNN Encoder-Decoderを用いた連続指文字認識モデルを紹介します.題材は連続指文字認識ですが,手法は連続手話単語認識や手話翻訳にも応用可能です.
Encoder-Decoder を用いた時系列認識の処理について説明します.今回はモデルではなく学習ループなどの全体的な処理の実装例を示します.
Encoder-Decoder を用いて Loss 計算を行う際のハマりどころについて説明します.