Transformer Is All You Need

"Attention Is All You Need" (Vaswani et al., 2017) を軸に、系列モデリングがどう進化してきたかを数式で追いかけるノート。RNNが死んでLSTMが延命して、結局Transformerが全部持っていった話。

1. 系列モデリングの課題

自然言語は系列データ。文 $x = (x_1, x_2, \dots, x_T)$ が与えられたとき、モデルは各トークン間の依存関係を捉えないといけない。問題は2つある。

長距離依存性

系列中の離れたトークン同士が意味的に強く結びついている場面は日常的に存在する。

"The trophy didn't fit in the suitcase because it was too big."

"it" が指すのは "trophy" であって "suitcase" じゃない。モデルがこの照応を正しく解決するには、数トークン離れた "trophy" の情報を保持して、"too big" との整合性を評価する必要がある。

"The keys to the cabinet on the second floor of the old building are missing."

主語 "keys" と動詞 "are" の間に修飾句がたくさん挟まっている。途中の "cabinet", "floor", "building"（全部単数）に惑わされず、遠くの "keys"（複数形）を正しく参照しなきゃいけない。

形式的には、入力系列の中でトークン $x_i$ と $x_j$（$|i - j| \gg 1$）の間に依存関係がある場合、モデルはその情報経路を確保しなければならない。

並列化

現代の深層学習はGPU/TPUの大規模並列演算に支えられている。だけどRNN系は本質的に逐次計算で、この恩恵を受けられない。$T = 1000$ トークンの文を処理するとき、RNNは $h_1 \to h_2 \to \cdots \to h_{1000}$ と1ステップずつ計算する。GPUに数千コアがあっても、この依存連鎖は並列化できない。

この2つは独立した問題じゃない。逐次処理モデルは長い依存連鎖を辿る間に情報が減衰して、かつその処理自体が遅い。理想的なアーキテクチャは任意の2トークン間を短い経路で結びつけ、かつその計算を並列に実行できるもの。RNN → LSTM → Transformerの進化はこの2つへの回答の歴史。

2. RNNの数理

基本構造

Vanilla RNNは時刻 $t$ における隠れ状態 $h_t$ を再帰的に計算する。

$$h_t = \tanh(W_{hh}\, h_{t-1} + W_{xh}\, x_t + b_h)$$ $$y_t = W_{hy}\, h_t + b_y$$

$x_t \in \mathbb{R}^d$ が入力、$h_t \in \mathbb{R}^n$ が隠れ状態、$W_{hh}, W_{xh}, W_{hy}$ が重み行列。シンプルだけど使い物にならない。

勾配消失・爆発問題

損失 $\mathcal{L}$ の $h_k$（$k \ll t$）に対する勾配を連鎖律で展開すると、

$$\frac{\partial \mathcal{L}}{\partial h_k} = \frac{\partial \mathcal{L}}{\partial h_t} \prod_{i=k+1}^{t} \frac{\partial h_i}{\partial h_{i-1}}$$

各ヤコビアン $\frac{\partial h_i}{\partial h_{i-1}} = \text{diag}(1 - h_i^2) \cdot W_{hh}$ だから、この積は $W_{hh}$ の最大特異値 $\sigma_{\max}$ に依存して、$\sigma_{\max} < 1$ なら勾配消失（指数的に0へ）、$\sigma_{\max} > 1$ なら勾配爆発（指数的に発散）。

つまりVanilla RNNは長距離依存性を学習できない。理論的に死んでるんだよね。

3. LSTMの数理

ゲート機構

LSTM (Hochreiter & Schmidhuber, 1997) はセル状態 $c_t$ と3つのゲートを導入して、勾配消失を緩和した。延命措置としてはかなり優秀。

$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \qquad \text{(忘却ゲート)}$$ $$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \qquad \text{(入力ゲート)}$$ $$\tilde{c}_t = \tanh(W_c \cdot [h_{t-1}, x_t] + b_c) \qquad \text{(候補セル値)}$$ $$c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t \qquad \text{(セル状態更新)}$$ $$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \qquad \text{(出力ゲート)}$$ $$h_t = o_t \odot \tanh(c_t) \qquad \text{(隠れ状態)}$$

$\sigma$ はシグモイド関数、$\odot$ はアダマール積。

なぜ勾配消失が緩和されるか

セル状態の勾配経路を見ると $\frac{\partial c_t}{\partial c_{t-1}} = f_t$。忘却ゲート $f_t \approx 1$ のとき、勾配はほぼそのまま過去に伝播する。RNNのように $W_{hh}$ の累乗が掛かるんじゃなくて、スカラーゲート値の積になるから勾配の流れが安定する。「定数誤差カルーセル」と呼ばれる仕組み。

LSTMの限界

計算は依然として逐次的（$h_t$ は $h_{t-1}$ に依存）で並列化不可。セル状態は固定次元ベクトルで情報のボトルネックになる。超長系列ではゲート積の累積で情報が減衰する。延命はしたけど、根本的な解決じゃない。

4. Bidirectional LSTM

Bi-LSTMは系列を前方向と後方向の2つのLSTMで処理する。

$$\overrightarrow{h_t} = \text{LSTM}_{\text{fwd}}(x_t, \overrightarrow{h_{t-1}}), \qquad \overleftarrow{h_t} = \text{LSTM}_{\text{bwd}}(x_t, \overleftarrow{h_{t+1}})$$ $$h_t = [\overrightarrow{h_t} \; ; \; \overleftarrow{h_t}] \in \mathbb{R}^{2n}$$

各時刻の表現が未来の文脈も含むから、NERや品詞タグ付けで単方向LSTMを大きく上回った。だけど情報経路は依然として逐次的な隠れ状態の伝搬に依存しているし、並列化は前方向・後方向の2パスに分かれるだけで各パス内は逐次的。パラメータ数も約2倍。

5. Seq2Seqと Attentionの萌芽

Seq2Seqのボトルネック

Seq2Seq (Sutskever et al., 2014) はEncoder-Decoder構造で、Encoderの最終隠れ状態 $c = h_T^{enc}$ を単一の固定長ベクトルとしてDecoderに渡す。入力系列全体が1つのベクトルに圧縮されるから、長い入力ほど情報が失われる。

Bahdanau Attention (2014)

Bahdanau et al. はデコーダの各ステップでエンコーダの全隠れ状態に動的に注目する仕組みを提案した。これが全ての始まり。

$$e_{t,s} = v_a^\top \tanh(W_a\, h_t^{dec} + U_a\, h_s^{enc})$$ $$\alpha_{t,s} = \frac{\exp(e_{t,s})}{\sum_{s'} \exp(e_{t,s'})}, \qquad c_t = \sum_{s} \alpha_{t,s}\, h_s^{enc}$$

コンテキストベクトル $c_t$ はデコードの時刻 $t$ ごとに異なるベクトルになって、入力系列の必要な部分に焦点を当てることができる。「じゃあ、再帰構造いらなくない？ Attentionだけでよくない？」。3年後にVaswaniがそれを証明した。

6. Transformerアーキテクチャ

Vaswani et al. (2017) は再帰構造を完全に排除して、Attentionのみでエンコーダ・デコーダを構成した。

7. Scaled Dot-Product Attention

Query, Key, Value

入力行列 $X \in \mathbb{R}^{T \times d_{\text{model}}}$ から3つの射影行列でQ, K, Vを生成する。

$$Q = XW^Q, \quad K = XW^K, \quad V = XW^V$$

$W^Q, W^K \in \mathbb{R}^{d_{\text{model}} \times d_k}$、$W^V \in \mathbb{R}^{d_{\text{model}} \times d_v}$。

Attention関数

$$\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right) V$$

やってることを分解すると、$QK^\top$ でトークン対ごとの類似度を計算、$\sqrt{d_k}$ で割ってsoftmaxの飽和を防ぎ、softmaxで確率分布にして、$V$ の重み付き和を取る。

なぜ $\sqrt{d_k}$ で割るのか

$q$ と $k$ の各成分が独立に平均0・分散1なら、内積 $q^\top k = \sum_{i=1}^{d_k} q_i k_i$ の分散は $d_k$。softmaxは入力の絶対値が大きいと勾配がほぼ0になるから、分散を1に正規化する。

$$\text{Var}\!\left(\frac{q^\top k}{\sqrt{d_k}}\right) = \frac{d_k}{d_k} = 1$$

地味だけど、これがないとTransformerはまともに学習しない。

8. Multi-Head Attention

単一のAttentionでは $d_{\text{model}}$ 次元空間の1つの部分空間しか見れない。$h$ 個のヘッドで異なる部分空間を並列に学習する。

$$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)\, W^O$$ $$\text{head}_i = \text{Attention}(QW_i^Q,\, KW_i^K,\, VW_i^V)$$

原論文では $h = 8$、$d_k = d_v = d_{\text{model}} / h = 64$。各ヘッドは異なる射影を持つから、構文的関係、意味的関係、距離関係など異なる種類の関係性を独立に学習できる。計算コストは単一の大きなAttentionと同等（各ヘッドの次元を $d_k = d_{\text{model}}/h$ に縮小するから）。

9. Positional Encoding

Self-Attentionは集合演算で、入力の順序に対して置換不変。トークンを並べ替えても出力が同じになる。これだと言語モデルとして致命的だから、位置情報を注入する必要がある。

位置 $\text{pos}$、次元インデックス $i$ に対して、

$$PE_{(\text{pos}, 2i)} = \sin\!\left(\frac{\text{pos}}{10000^{2i/d_{\text{model}}}}\right), \qquad PE_{(\text{pos}, 2i+1)} = \cos\!\left(\frac{\text{pos}}{10000^{2i/d_{\text{model}}}}\right)$$

入力埋め込みに加算する。$z_{\text{pos}} = \text{Embedding}(x_{\text{pos}}) + PE_{\text{pos}}$。

低次元は高周波で振動して局所的な位置差を捉え、高次元は低周波で振動して広域的な位置関係を捉える。波長は $2\pi$ から $10000 \cdot 2\pi$ までの等比数列。

数学的に面白い性質として、任意の固定オフセット $\phi$ に対して $t$ に依存しない $2 \times 2$ 回転行列 $M_\phi$ が存在して、

$$M_\phi \begin{bmatrix} \sin(\omega_k t) \\ \cos(\omega_k t) \end{bmatrix} = \begin{bmatrix} \sin(\omega_k (t + \phi)) \\ \cos(\omega_k (t + \phi)) \end{bmatrix}$$

これによりモデルは相対位置を線形変換として学習できる。加法定理からの導出なんだけど、これを思いついた人は天才だと思う。

10. Encoderブロック

各Encoderブロックは2つのサブレイヤーからなる。

Self-Attentionサブレイヤーは $\text{SA}(X) = \text{MultiHead}(X, X, X)$。Q, K, Vが全部同じ入力 $X$ から生成される。

Position-wise FFNは各位置に独立に適用される2層の全結合層。

$$\text{FFN}(x) = \max(0,\, xW_1 + b_1)\, W_2 + b_2$$

内部次元 $d_{ff} = 2048$、$d_{\text{model}} = 512$。ReLU活性化。

各サブレイヤーの出力に残差接続と層正規化を適用する。$\text{SubLayer}(X) = \text{LayerNorm}(X + f(X))$。残差接続は勾配の流れを安定させ、LayerNormは学習を加速する。（ResNetの遺産がここにも。）

11. Decoderブロック

Decoderブロックは3つのサブレイヤーを持つ。ここがEncoderとの結合の核心。

Masked Self-Attention

$$\text{MaskedAttn}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}} + M\right) V$$

マスク行列 $M_{ij}$ は $i \geq j$ なら $0$、$i < j$ なら $-\infty$。softmax後に未来のトークンへの注意重みが0になって、自己回帰的な生成が可能になる。

Cross-Attention

ここがEncoderとDecoderをくっつける部分。

$$\text{CrossAttn} = \text{MultiHead}(Q_{\text{dec}},\, K_{\text{enc}},\, V_{\text{enc}})$$

Qはデコーダから、K/Vはエンコーダの最終出力から。Decoderの各位置がEncoderの入力系列全体に対してAttentionを計算できる。Bahdanau Attentionの一般化で、加法的スコアの代わりにScaled Dot-Productを使う。

機械翻訳（英→日）だと、"上" を生成するとき、QはDecoder側から来て、K/VはEncoder側の "on" や "sat" に高い注意を向ける。最終出力は語彙サイズの確率分布。$P(y_t \mid y_{<t}, X) = \text{softmax}(W_{\text{vocab}} \cdot h_t^{dec} + b)$。

12. なぜTransformerが強いのか

情報経路長

Bi-LSTMでは $x_1$ の情報が $x_T$ に届くには $T-1$ ステップのゲート伝搬が必要で、各ステップでゲートの積が掛かって情報が減衰する。Transformerでは任意の2トークン間がAttentionの1ステップで直接接続される。$\alpha_{ij}$ が十分大きければ距離に関係なく情報が伝播する。

並列化

Self-Attentionの $QK^\top$ は行列積で全トークンを同時に処理できる。逐次演算数 $O(1)$。GPUの並列性を最大限に活かせる。

文脈の捉え方

Bi-LSTMの各位置の表現は隠れ状態を通じて圧縮・蒸留されたもので、遠くのトークンの情報ほどぼやける。Transformerの各位置の表現は入力系列全体へのAttention重み分布によって構成されるから、どの位置の情報にも直接的かつ選択的にアクセスできる。多層Attentionにより、低層では局所的な構文関係、高層では大域的な意味関係を階層的に学習する。

13. 計算量の比較

$T$ = 系列長、$d$ = 表現次元として。

Self-Attentionは $T^2$ の項があるから超長系列では不利。だけど典型的なNLPタスク（$T < 1024$）では $T < d$ であることが多くて、Attentionのほうが速い。$T$ が非常に大きい場合にはLinear AttentionやSparse Attentionなんかの近似手法が研究されている。$T^2$ を $T$ に落とす戦いは今も続いてるけど、それはまた別の話。

---

参考文献

• Vaswani et al., "Attention Is All You Need" (2017)
• Bahdanau et al., "Neural Machine Translation by Jointly Learning to Align and Translate" (2014)
• Hochreiter & Schmidhuber, "Long Short-Term Memory" (1997)
• Sanford, Hsu, Telgarsky, "Transformers & Massively Parallel Computation" (2023-2024)
• Rigollet, "The Mean-Field Dynamics of Transformers" (2026)