記憶の値段予測に効かない記憶は、熱になる ── 学習の熱力学を一粒の粒子で測る

2026-10-27 ／第4回の Landauer（1 ビットを消す値段）と第5回の「学習の熱力学」をつなぐ。全部ガウス過程にして情報量を厳密に出す。検証は付録に

四行の要約

信号を追いかける系は、信号についての記憶を持つ。 その記憶のうち、次の信号の予測に効かない分（非予測的な情報）が、散逸する仕事の下限になる（Still–Sivak–Bell–Crooks 2012）。
不等式は全 12 条件で成り立ち、破れなかった。 比 W_diss / (I_mem − I_pred) は 1.14 〜 5.2。
きつくなるのは、信号が予測しやすく、系がゆっくり追うとき（比 1.14〜1.23）。緩むのは、系が信号を精密に追いすぎるとき（比 4.7〜5.2）。細部まで覚えると、覚えた分だけ熱を払う。
これは学習の過適合の熱力学版である。 予測に効かない細部を覚えることは、情報の無駄ではなく、エネルギーの無駄として測れる。LLM の文脈の記憶にも同じ不等式が当てはまる（ただし測る道具がまだない）。

00先に仕分け表

線	格付け	この日の検証
W_diss ≥ kT (I_mem − I_pred)	教科書（Still ら 2012、PRL）	12 条件で成立、比 1.14〜5.2
ガウス過程の相互情報量 = −½ ln(1 − r²)	教科書	—
トラップの平行移動では ΔF = 0、散逸 = 平均仕事	教科書（確率熱力学）	—
「精密に追うほど緩む」= 過適合の熱力学	この地図の語り	k = 10 で比 4.7
LLM の文脈記憶への当てはめ	語り（未測定）	—

01設計：全部ガウスにする

情報量を推定で濁らせないため、系を全部ガウス過程にする。信号 x_t は相関 a の Ornstein–Uhlenbeck 過程（分散 1）。系は、中心が x_t にあるばね定数 k の調和トラップに入った過減衰のブラウン粒子で、温度 T = 1。一歩ごとに (1) トラップの中心が x_t から x_{t+1} に跳ぶ（このとき粒子に仕事 W = k/2[(s − x_{t+1})² − (s − x_t)²] がなされる）、(2) 粒子が新しいトラップの中で時間 τ だけ緩和する（厳密な OU の緩和）。粒子の位置 s_t が「系の記憶」である。

測るのは三つ。記憶の情報量 I_mem = I(s_t; x_t)、予測に効く情報量 I_pred = I(s_t; x_{t+1})、散逸した仕事 W_diss（トラップの平行移動では自由エネルギーが変わらないので、平均の仕事そのもの）。ガウスなので I = −½ ln(1 − r²) が厳密で、r は相関係数。主張は

$$W_{\rm diss} \;\ge\; k_BT\,\big[I(s_t;x_t) - I(s_t;x_{t+1})\big]$$

右辺は「覚えているが、次を当てるのに役立たない情報」。それが熱の下限になる、というのが Still らの定理である。第4回の Landauer（1 ビットを消すのに kT ln 2）は、この不等式の「記憶を全部捨てる」場合にあたる。

02結果

計算40 万ステップ、一歩あたりの量（nat）、T = 1

信号の相関 a	k	kτ	I_mem	I_pred	非予測 = I_mem − I_pred	W_diss	比
0.5	1	0.2	0.039	0.009	0.030	0.152	5.2
0.5	1	1	0.224	0.048	0.177	0.389	2.2
0.5	1	5	0.348	0.067	0.281	0.500	1.8
0.5	10	5	1.196	0.128	1.067	4.994	4.7
0.5	0.2	1	0.055	0.013	0.042	0.078	1.9
0.9	1	0.2	0.171	0.133	0.038	0.070	1.9
0.9	1	1	0.313	0.238	0.076	0.094	1.23
0.9	1	5	0.346	0.258	0.088	0.101	1.15
0.9	10	5	1.195	0.666	0.529	0.994	1.9
0.9	0.2	1	0.080	0.064	0.016	0.019	1.14

不等式は破れない。 比はすべて 1 以上。
きついのは、信号が予測しやすく（a = 0.9）、系がゆるく追う（k = 0.2〜1）とき。 比 1.14〜1.23。このとき記憶の大半が予測に効いていて（I_pred / I_mem ≈ 0.75〜0.8）、無駄な記憶が少ない。
緩むのは、系が信号を精密に追いすぎるとき。 k = 10 では I_mem = 1.2 nat と多くを覚えるが、a = 0.5 の信号は半分が雑音なので I_pred は 0.13 しかない。覚えた 1.07 nat は全部無駄で、散逸は 5 kT。比 4.7。
予測できない信号（a = 0.5）は、どう追っても損。 非予測の情報がほぼ記憶の全部になる。

03読み：過適合の熱力学

k が大きいトラップは、信号の細部（次の瞬間には消える雑音）まで忠実に覚える。それは学習でいう過適合で、普通は「汎化誤差」で測る。この不等式は、同じことを熱で測る。覚えた細部のうち予測に効かない分は、kT を単位として必ず熱になる。

第5回の四行目に「LLM の文脈のうち次の単語に効かない部分を覚えておくことが、そのまま熱のコストになる」と書いた。ここで見たのはその一粒子版で、不等式の形はそのまま LLM に当てはまる。違うのは、LLM では I_mem と I_pred を測る道具がまだ無いことだけである（文脈の情報量の推定は、第5回の正直な線に書いたとおり届いていない）。

線として：第1回の温度（η/N）、第4回の Landauer（kT ln 2）、この回の非予測情報（kT × nat）。三つとも「情報 1 単位 = kT」という換算で、k_B は情報と熱の両替レートである（『わかる温度』第1回の k_B と同じ）。

04正直な線

どこで線が切れるか

下限は緩い。 一番きつい場合でも 1.14 で、等号には届かない。Still らは「等号は系が最適な予測器のとき」としているが、調和トラップは最適な予測器ではない（最適はカルマンフィルタ）。等号を見るには系の設計を変える必要がある。
一粒子・ガウス・一歩先の予測だけ。 多段先の予測、非ガウスの信号、多自由度の系は見ていない。
W_diss = 平均仕事と置いたのは、トラップの平行移動で ΔF = 0 だから。 剛性が変わる操作では ΔF を別に計算する必要がある。
LLM への当てはめは語り。 不等式自体は一般（マルコフ的な駆動系なら成り立つ）だが、LLM で I_mem と I_pred を測った人はいない。

まとめ

予測に効かない記憶は熱の下限になる。12 条件で不等式は成立、比 1.14〜5.2。
信号を精密に追いすぎると、覚えた細部が全部熱になる（過適合の熱力学）。
情報 1 nat = kT。温度、Landauer、非予測情報は同じ換算の三つの顔。

次に引く線の候補系をカルマンフィルタ（最適な予測器）にして等号に近づけるか／小さな言語モデルで文脈の I_mem と I_pred を推定する（情報量の推定が難所）／第4回の Landauer を最適な手順で回して 1/τ の領域に入れるか（未回収）