こんにちは．高山です．
今回は，Transformer を用いた連続指文字認識モデルの補足になります．

実践手話認識 - モデル開発編の第五回では，Transformer を用いた連続指文字認識を紹介しました．
本編の記事では実装と実験に注力して説明しましたので，本記事では Transformer Decoder で使われている Multi-head cross attention (MHCA) の動作について Step by step で説明したいと思います．

MHCA の基本的な処理構成は Multi-head self-attention (MHSA) と同じ (第3節をご参照ください) ですが，Encoder の出力特徴量とラベル系列が入力になる点に注意してください．

1. 入力へ線形変換を適用

MHCA ではまず最初に，入力に対して，それぞれ異なる線形変換 $\boldsymbol{W}^Q, \boldsymbol{W}^K, \boldsymbol{W}^V$ を適用します．
ラベル系列 $\boldsymbol{Y}^{'}$ には$\boldsymbol{W}^Q$ を適用し，Encoder の出力特徴量 $\boldsymbol{Z}$ には $\boldsymbol{W}^K, \boldsymbol{W}^V$ を，それぞれ適用します．

Multi-head cross-attentionの1番目の処理手順を示す画像です．画像の前後に説明があります． — MHCA step by step 1: Apply linear layer

図中の赤四角に示すように，入力の行，および重みの列の積和演算結果が出力行列の要素になります．

2. 特徴量を次元毎に分割して各ヘッドに振り分け

MHSA と同様に MHCA もAttention の計算を，特徴次元に沿って小分けにした特徴量に対してそれぞれ行います．
ここで，小分けにした特徴量に対して行われる計算処理郡はヘッドと呼ばれます．

各ヘッドでそれぞれ Attention を計算することで，入力系列内の複雑な関係性を捉えることが可能になります．

図2は特徴量を次元軸に沿って分割し，各ヘッドに振り分けている様子を示しています．

Multi-head cross-attentionの2番目の処理手順を示す画像です．画像の前後に説明があります． — MHCA step by step 2: Divide input into heads

特徴次元に沿って均等に分割されるため，入力特徴量の次元数が $C^A$，ヘッド数が $H$ だった場合は，各ヘッドに入力される特徴量の次元数は $C^A/H$ になります．
この処理は $Q, K, V$ 全てに対して行われます．

3. Scaled dot-product attention の適用

次に Scaled dot-procuct attention を用いて Attention 重みを計算します．

Multi-head cross-attentionの3番目の処理手順を示す画像です．画像の前後に説明があります． — MHCA step by step 3: Calculate attention

MHSA と異なり，$\boldsymbol{\alpha}_h$ は $L \times T^{'}$ 形状である点に注意してください．
MHCA の $\boldsymbol{\alpha}_h$ では，各行は次ラベルを推論する際の Encoder 出力特徴量系列に対する重みを示しています (RNN Encoder-Decoder と同じです)．