第1回・第2回 で線を引いていくと、別々の分野で別々の名前を持つ式が、実は同じ一行だったという場面が何度もあった。ここではそのうち三つを、定理の形に書き下す。どれも証明は短い。面白さは証明ではなく、何と何が同じだったかの方にある。
| 定理 | 数学としての格付け | 読み方の格付け | この日の検証 |
|---|---|---|---|
| 1．対数微分の恒等式に五つの顔 | 教科書（各分野） | 統一の見方も既知（機械学習のスコア関数推定） | — |
| 2．自然選択 = ES + ばらつきを好む項 | 厳密な漸近展開（キュムラント展開） | 「ばらつきを好む」は語り | β=0.1 で誤差 1/3 |
| 3．二つの時計は q 数で一本 | 自明（分散の加法性） | 「熱とくりこみの時計」は語り | 線形 CNN で一致 |
証明。 \(\nabla p = p\,\nabla\ln p\) を積分の中で使うだけ。二つ目の等号は \(\mathbb{E}[\nabla\ln p] = \nabla\!\int p = 0\) から。∎
「パラメータで期待値を微分すると、f とスコア関数の共分散になる」。\(p_\theta\) の選び方を変えると、今日出てきたものが全部この一行の特殊例になる。
| \(p_\theta\) の選び方 | スコア \(\nabla\ln p_\theta\) | 出てくるもの |
|---|---|---|
| ガウス \(\mathcal N(\theta, \sigma^2 I)\) | \(\epsilon/\sigma\) | Stein の補題、ES の勾配 \(\frac1\sigma\mathbb E[L(\theta+\sigma\epsilon)\,\epsilon]\) |
| 集団の分布、\(f\) = 適応度 | 個体の形質 − 平均 | Price の式 \(\Delta\bar z = \mathrm{Cov}(w,z)/\bar w\)、Fisher の自然選択の基本定理（平均適応度は分散の速さで増える） |
| \(|\psi_\theta|^2\) | \(2\nabla\ln\psi\) | VMC の勾配 \(2\,\mathrm{Cov}(E_L, \nabla\ln\psi)\)。\(E_L\) 自体も θ に依存するが、その項はハミルトニアンのエルミート性で消える |
| 方策 \(\pi_\theta(a|s)\) | \(\nabla\ln\pi\) | REINFORCE（強化学習の方策勾配） |
| 統計モデル | スコア関数 | フィッシャー情報 = スコアの共分散 = 自然勾配の計量 |
第1回 の線では、ES は平均エネルギー \(\langle L\rangle\) を、自然選択は自由エネルギー \(-\frac1\beta\ln\langle e^{-\beta L}\rangle\) をぼかしていた。その差を β で展開する。
証明。 一つ目の等号は Lande の式（定理 1 のガウス版）。二つ目はキュムラント展開 \(\ln\langle e^{-\beta L}\rangle = -\beta\kappa_1 + \frac{\beta^2}{2}\kappa_2 - \frac{\beta^3}{6}\kappa_3 + \cdots\) を \(z\) で微分する。∎
指数の重みは凸関数なので（Jensen の不等式）、自然選択は ES と違い、集団の中で損失がばらつく場所へ引き寄せられる。第1回 で見た「z = 0.9 で選択は外側の谷底へ、ES は内側の 0.72 へ」という向きの食い違いで、ES の向きを押し戻す側に最初に効くのがこの 2 次の項である（β = 3 のような強い選択では高次の項も効くので、2 次だけで説明できるわけではない）。
| β | 選択（厳密） | ES（1 次のみ） | 1 次 + 2 次 |
|---|---|---|---|
| 0.1 | −0.01225 | −0.01676 | −0.01076 |
| 0.3 | −0.02245 | −0.05029 | +0.00379 |
| 1.0 | −0.01765 | −0.16765 | +0.43329 |
β = 0.1 では 2 次の項を足すと誤差が 0.0045 → 0.0015 と 3 分の 1 になる。β ≥ 0.3 では展開が使えない。4 次式の地形はガウスの集団の下で分散が大きく、この級数は漸近級数としてしか働かないためである。
第1回 では、CNN の深さに二つの時計があった。ストライド 1 なら受容野は \(\sigma^2\propto L\)（熱方程式の時計）、毎層間引けば \(\ln\sigma\propto L\)（くりこみ群の時計）。この二つは一つの式の極限である。
証明。 独立な層の分散は足し算になる。\(l\) 層目のカーネルは、\(l-1\) 回の間引きのあとの格子で働くので、入力の座標では分散が \(v\,s^{2(l-1)}\) になる。これを \(l=1\) から \(L\) まで足す。∎
| s | L | 測定 | \(v[L]_q\) |
|---|---|---|---|
| 1 | 4 | 2.65 | 2.67 |
| 1 | 16 | 10.78 | 10.67 |
| 1 | 64 | 44.4 | 42.7 |
| 2 | 4 | 52.9 | 56.7 |
| 2 | 6 | 839 | 910 |
L = 1、2 は表から外した（0.39 と 1.05、理論 0.67 と 1.33）。分散を出力の中心ではなく、試行ごとの重心のまわりで測ったため、重心のふらつきの分だけ小さく出る。測り方の問題で、定理の問題ではない。L = 64 は重みの大きさを 1/√24 に縮めて桁あふれを避けた。ストライド 2 で 8% 低い原因（間引きの位置合わせ・境界）は確認していない。
scripts/theorems.py