LLM は物理で書ける順伝播は冷却、逆伝播は時間反転、attention はボルツマン ── 四行で言えること

2026-10-20 ／「LLM と構造が似ている」を、比喩でなく定理の形で。検証は付録に回した

四行の要約

逆伝播は、時間を逆向きに走る物理そのもの。 1950 年代の最適制御の随伴方程式と同じで、順方向が位置、逆方向が運動量。両方を合わせたハミルトニアンは保存する。
逆伝播の信号は、物理でいう「応答」。 softmax の微分は出力のゆらぎ（共分散）に等しい。揺動散逸定理が一個の softmax について厳密に成り立つ。
LLM はすでにボルツマン分布で動いている。 温度は文字どおり温度。attention の一回はホップフィールド網の一更新で、エネルギーは必ず下がる。層を重ねるとトークンは凝集し、文脈内学習は順伝播の中の勾配降下である。
情報の側は、減ることしかできない。 層を通るたびに入力の情報は減る（データ処理不等式）。予測に効かない記憶は、熱のコストになる（学習の熱力学）。

ここまでの線を LLM に当てると、どれも既に名前が付いていた。新しい主張はしない。代わりに、四行のそれぞれを小さな計算で確かめて、どこまで厳密でどこから崩れるかを書いておく。

00先に仕分け表

線	格付け	この日の検証
逆伝播 = 随伴方程式、H = a·f が保存	教科書（Pontryagin 1956、Linnainmaa 1970）	H の変動 10⁻⁴、勾配一致 7×10⁻⁴
softmax の微分 = 共分散（揺動散逸）	教科書	恒等式 10⁻¹¹、サンプリングで 10⁻⁴
attention = 現代ホップフィールドの一更新	Ramsauer ら 2020（定理つき）	エネルギー単調、β で記憶が溶ける
深さとともにトークンが凝集	Geshkovski ら 2023	64 → 1 クラスター、β で遅れる
文脈内学習 = 勾配降下 1 歩	von Oswald ら 2023	構成は厳密 10⁻¹⁶、学習でも GD 1 歩と同じ精度
データ処理不等式、学習の熱力学	教科書／ Still ら 2012	— （計算なし）
「順伝播 = 冷却、逆伝播 = 時間反転、揺動散逸が両者をつなぐ」	この地図の語り	部品ごとには確認、全体としては未

01逆伝播は時間反転

層を時間とみなす（第2回）と、ネットワークは微分方程式 $\dot x = f(x,\theta)$ で、損失は終端の $L(x(T))$。随伴変数 $a = \partial L/\partial x$ は

$$\dot a = -\Big(\frac{\partial f}{\partial x}\Big)^{\!\top} a,\qquad a(T) = \nabla L,\qquad \frac{dL}{d\theta} = \int_0^T a^\top\frac{\partial f}{\partial \theta}\,dt$$

に従い、これが逆伝播である。$x$ と $a$ はハミルトニアン $H = a\cdot f(x,\theta)$ の正準方程式の組になり、$\theta$ が時間によらなければ $H$ は保存する。

計算4 次元の $\dot x=\tanh(Wx+b)$、RK4 で 2000 歩、逆向きに随伴を積分

H = a·f を t = 2.0 から 0 まで 6 点で：3.73533 → 3.73532 → 3.73528 → 3.73518 → 3.73501 → 3.73479（変動 1.5×10⁻⁴、離散化誤差の程度）。dL/dW を自動微分（離散の逆伝播）と随伴の積分で比べると相対差 7×10⁻⁴。

見た目は違っても、自動微分の逆伝播と、物理の随伴方程式は同じ計算である。最初に書いた版では随伴の時間の向きを間違え、H が 20% 流れた。符号ひとつで保存が壊れる、というのがこの定理の中身そのものだった。

02逆伝播の信号はゆらぎ

温度 T の softmax $p_i = e^{h_i/T}/Z$ について

$$\frac{\partial p_i}{\partial h_j} = \frac{1}{T}\,p_i(\delta_{ij} - p_j) = \frac{1}{T}\,\mathrm{Cov}(\mathbf 1_i, \mathbf 1_j)$$

左辺は「ロジットを押したときの出力の応答」で、逆伝播が出力層で運ぶ量。右辺は「出力のゆらぎ」。これは揺動散逸定理の一番小さい形で、第3回の定理 1（対数微分の恒等式）の子どもである。

計算8 トークン、観測量 f(トークン) をランダムに取り、応答は微分で、ゆらぎは 200 万サンプルから

T	max \|応答 − Cov/T\|	応答の大きさ
1.0	2.9×10⁻⁴	0.26
0.5	8.4×10⁻⁴	0.39

差はサンプリングの統計誤差の程度。恒等式そのものは 4×10⁻¹¹ で成立。

03attention はボルツマン

温度。 LLM の「温度」は比喩ではない。ロジットが −エネルギー、softmax がボルツマン分布、サンプリング温度が $k_BT$ で、perplexity は $e^{\text{エントロピー}}$。第1回の「温度」の線は、LLM では最初から部品に入っている。

attention = ホップフィールド。 記憶パターン $X$（鍵 = 値）に対して、エネルギー $E(\xi) = -\frac1\beta\ln\sum_i e^{\beta\, x_i\cdot\xi} + \frac12|\xi|^2$ を定めると、$\xi \leftarrow X^\top\mathrm{softmax}(\beta X\xi)$ はその一更新で、E は単調に下がる（Ramsauer ら 2020）。これは attention の式そのものである。

計算64 次元に 20 パターン、ランダムな初期値 200 個から反復

β	収束まで	E 単調	最近接パターンとの重なり	到達した固定点の数
1	9.7	はい	0.42	1
4	21.3	はい	0.45	1
16	6.0	はい	1.00	20
64	3.2	はい	1.00	20

β が小さい（高温）と全部の記憶が溶けて平均一つに落ちる。β が大きい（低温）と 20 個の記憶がそれぞれ取り出せる。相転移の境目は β ≈ 4〜16 の間。

深さ = 時間、トークン = 粒子。 自己注意だけの層を重ねると、トークンは互いに引き合って凝集する（Geshkovski ら 2023）。

計算球面上の 64 トークン、16 次元、残差つき自己注意を L 層。クラスター数（cos > 0.99 で同一視）

β	L=0	10	20	50	100	200	500
1	64	64	64	11	1	1	1
4	64	64	64	58	1	1	1
9	64	64	64	62	50	24	6

最後は一点に潰れる。β が大きいほど途中の準安定なクラスターが長持ちする ── 第1回のイジングの流れ、第4回の局所解と同じ構造。

文脈内学習 = 勾配降下。 線形 attention に特定の重みを入れると、文脈中の (x, y) に対する最小二乗の勾配降下を一歩、順伝播の中で実行する（von Oswald ら 2023）。

計算4 次元の線形回帰、文脈 16 点

構成した重みでは attention の出力と GD 一歩の予測が一致（差 7×10⁻¹⁶）。重みをゼロから学習させた線形 attention の試験 MSE は 0.961、最適な歩幅の GD 一歩は 0.952、最小二乗の厳密解は 0.000、ゼロ予測は 4.08。学習した一層は、GD 一歩の精度に収束し、それを超えない。

04情報は減ることしかできない

層は $X\to h_1\to h_2\to\cdots$ のマルコフ連鎖なので、$I(X;h_{l+1})\le I(X;h_l)$（データ処理不等式）。学習は情報を増やす操作ではなく、捨てる順番を選ぶ操作である。第1回のくりこみ群と同じ向きで、違うのは何を残すかの基準だけだった。

学習の熱力学（Still ら 2012）では、系が過去について抱えている情報 $I_{\rm mem}$ のうち、未来の予測に効かない分 $I_{\rm mem}-I_{\rm pred}$ が散逸の下限になる。LLM に当てると、文脈のうち次の単語に効かない部分を覚えておくことが、そのまま熱のコストになる。第4回の Landauer（1 ビット消すのに $kT\ln2$）の、学習版である。ここは計算していない。

05換算表

LLM の部品	物理での名前	回
ロジット／温度／ perplexity	−エネルギー／ $k_BT$ ／ $e^{S}$	1
softmax の微分	共分散、感受率（揺動散逸）	3, 5
attention 一回	ホップフィールドのエネルギー降下一歩	5
層	時間、虚時間	2
トークン	球面上の相互作用する粒子	5
順伝播	冷却、凝集	1, 5
逆伝播	随伴方程式、時間反転、運動量	5
文脈内学習	順伝播の中の勾配降下	5
学習率 / バッチ	温度 η/N	1

06正直な線

どこで線が切れるか

揺動散逸が厳密なのは softmax 一個まで。 ネットワーク全体では、応答は線形近似、ゆらぎは平衡でない。「全体で成り立つか」は測っていない。
凝集の計算は重みのない自己注意。 学習済みの LLM で隠れ状態の異方性が深さとともに増すことは知られている（Ethayarajh 2019）が、今日は確認していない。
文脈内学習 = GD は線形 attention の話。 softmax attention と MLP を含む本物の Transformer で何をしているかは研究が続いている。
H の保存は θ が層によらないとき。 普通のネットワークは層ごとに重みが違うので、H は保存せず、各層で $\partial H/\partial\theta_l$ の分だけ変わる。それがちょうど勾配である。
四行目は計算なし。 学習の熱力学を LLM で測るには、文脈の情報量を推定する必要があり、今日の道具では届かない。
新しくはない。 全部、引用先がある。新しいのは並べ方と、第1〜4回の線がそのまま通ることの確認だけ。

まとめ

逆伝播は随伴方程式で、H = a·f が保存する時間反転。
softmax の微分は共分散。逆伝播の信号は、出力のゆらぎを運んでいる。
attention はホップフィールドの一更新、層は時間、トークンは凝集する粒子、文脈内学習は順伝播の中の勾配降下。
情報は層を通るたびに減る。予測に効かない記憶は熱になる。

次に引く線の候補小さな Transformer を実際に学習させ、順方向の応答と逆方向の勾配の相関（揺動散逸）がどこまで合うかを測る／学習済みモデルで深さとともに隠れ状態が凝集するか／文脈の情報量を推定して、学習の熱力学の不等式を測る

Pontryagin ら (1956) ／ Kelley (1960)、Bryson (1961) ／ Linnainmaa (1970) ／ Chen ら (2018) Neural ODE
Ramsauer ら (2020) Hopfield Networks is All You Need ／ Geshkovski, Letrouit, Polyanskiy, Rigollet (2023) A mathematical perspective on Transformers
von Oswald ら (2023) Transformers learn in-context by gradient descent ／ Ethayarajh (2019)
Still, Sivak, Bell, Crooks (2012) Thermodynamics of prediction ／ Tishby & Zaslavsky (2015) 情報ボトルネック
スクリプト：scripts/llm_lines.py、出力 scripts/llm_lines_out.txt

LLM の部品	物理での名前	回
ロジット／温度／ perplexity	−エネルギー／ \(k_BT\) ／ \(e^{S}\)	1
softmax の微分	共分散、感受率（揺動散逸）	3, 5
attention 一回	ホップフィールドのエネルギー降下一歩	5
層	時間、虚時間	2
トークン	球面上の相互作用する粒子	5
順伝播	冷却、凝集	1, 5
逆伝播	随伴方程式、時間反転、運動量	5
文脈内学習	順伝播の中の勾配降下	5
学習率 / バッチ	温度 η/N	1

LLM は物理で書ける 順伝播は冷却、逆伝播は時間反転、attention はボルツマン ── 四行で言えること