考えるAIと物理 ── 第 14 回
AI・計算 × 物理の境界を、点でなく線で辿る

未回収を回収しに行く 三つ掘って、閉じたのは一つ ── 補題は死に、公式は生き残った

2026-10-27 / 第1回と第4回の「正直な線」に残っていた三つの未検証を、放置せずに潰しにいく回。検証は付録に
四行の要約
  1. ES の脱出時間の「次数 → 指数」の補題は死んだ。 六次の井戸で指数 1/3 を予言したが、測定は 1/2 に合う。ただし近似を使わない一回ジャンプの公式は r = 0.002 まで 1% で当たり続けた。公式は生き、補題は死んだ。
  2. Landauer の 1/τ は、障壁を下げても出なかった。 8kT では系が平衡に戻れず、4kT では遅くするとビットが漏れる(成功率 0.98 → 0.64)。素朴な手順では両立しない。最適な手順(Proesmans ら 2020)が要る。未回収のまま。
  3. ES の双曲線は、今回も当たらなかった。 ただし別のことが分かった:N = 16 から 512 まで総サンプル数がほぼ一定(η/N の交換則が 5 回の倍加で成立)で、臨界バッチサイズは 512 より大きい。小さい N は打ち切りに掛かって測れなかった。
  4. 三つ掘って閉じたのは一つ、それも否定で。 未回収を放置しないこと自体がこの回の内容で、残った二つは次の形がはっきりした。

00先に仕分け表

未回収の主張(出所)結果格付け
次数 2k の井戸で ln τ ∝ (N/η)^{1/k}(第4回・補題の候補)外れ:六次で α = 1/2 が最良、1/3 は残差 7 倍補題は撤回
一回ジャンプの公式 τ = r / P(−r·g > \|x_min\|)(第4回)当たり:r = 0.002 まで 1%、0.001 で 1.6 倍公式は維持
Landauer の余分な仕事 ∝ 1/τ、障壁が高すぎたのが原因(第4回の解釈)未回収:4kT でも τ とともに増える。原因は漏れ解釈を修正、未決
ES のステップ数と総サンプル数の双曲線(第1回)未回収:打ち切りで小 N が測れず設計を修正、未決
η/N の交換則が N = 16〜512 で成立当たり(副産物)第1回の主張を補強

01補題は死に、公式は生きた

第4回で、対称差分 ES の推定量は ε の多項式なので裾が伸張指数型になり、四次の井戸では ln τ ∝ (N/η)^{1/2} になった(フィットなしで 10%)。そこから「次数 2k の井戸なら指数は 1/k」という補題を候補に挙げ、六次で 1/3 を予言したが、最初の試みは r が大きすぎて決着しなかった。r を 16 分の 1 まで下げた。

計算六次の井戸 (x²−1)²(x²+½)、σ = 0.3、対称差分 ES、300 ウォーカー
r = η/N0.0160.0080.0040.0020.001
一回ジャンプの予言11.823.773.43332000
測定13.028.369.23343185

ln τ = A + B·(1/r)^α の当てはめ:α = 1/2 で残差 0.025、α = 1/3 で 0.175、α = 1/4 で 0.313。

補題は外れた。 理由も分かる。六次の推定量は ε²、ε⁴、ε⁶ の項を持ち、ε⁶ の係数は σ⁵ に比例する。σ = 0.3 では、脱出に効く ε ≈ 4〜6 の範囲で σ²ε² ≈ 2 と、ε⁴ の項と同程度しかない。「最高次が支配する」という補題の前提が、到達できる r の範囲では成り立たない。

公式は生きた。 一回ジャンプの公式は推定量の分布を近似なしで使うので、どの項が支配するかに関係なく r = 0.002 まで 1% で当たる。r = 0.001 で 1.6 倍ずれるのは、τ が 3000 歩を超えて「一回のジャンプで越える」以外の経路(二回に分けて越える)が効き始めたためと思われる(未確認)。きれいな補題より、泥臭い公式の方が正しかった。

02Landauer:障壁を下げても 1/τ は出ない

第4回で、余分な仕事が 1/τ で減らなかった理由を「障壁 8kT でクラマース時間 e⁸ ≈ 3000 が τ より長く、系が平衡に戻れないから」と解釈した。なら障壁を 4kT(クラマース時間 e⁴ ≈ 55)にすれば τ ≫ 55 で 1/τ が見えるはずである。

計算障壁 4kT、同じ四段階の消去手順、4000 粒子
τ52050100200400
⟨W⟩/kT1.770.900.630.490.310.20
成功率 p0.980.940.870.800.710.64
下限(p で補正)0.600.470.310.190.090.04
余分 × τ5.88.615.729.344.263.2

出なかった。今度の理由は逆で、遅くするとビットが漏れる。障壁 4kT は τ = 400 の間ビットを保持できず、成功率が 0.64 まで落ちて、消去そのものが成立しなくなる。8kT では速すぎて平衡に戻れず、4kT では遅すぎて漏れる。素朴な四段階の手順では、両方を同時に満たす τ の窓がない。

1/τ を見るには、障壁を保持する時間を短くし、下げている間だけゆっくり動かす、最適化された手順が要る(Proesmans, Ehrich, Bechhoefer 2020)。第4回の解釈は半分正しく半分間違いで、本当の原因は「手順」だった。未回収のまま次に回す。

03双曲線:今回も当たらず、別のものが見えた

第1回で、大バッチ学習の双曲線 (S − S_min)(E − E_min) = S_min E_min が ES で当たらなかった理由を「地形が簡単すぎて数ステップで届く」とした。50 次元、条件数 100、遠い出発点にして当て直した。

計算各 N で η を 16 通りから最適化、目標 L < 2、上限 4000 ステップ
N1〜8163264128256512
S≥ 4000(打ち切り)2411129465335212882
E = N·S—38,57641,42441,79244,99232,89642,240

今度は逆に難しすぎて、N ≤ 8 が 4000 ステップの上限に掛かり、双曲線の「ステップ数が多い側」が測れなかった。当てはめは意味を持たない。

ただし副産物がある。N = 16 から 512 まで、総サンプル数 E が 3.3〜4.5 万でほぼ一定。 N を 32 倍にしてもステップ数が 1/N で減り続け、臨界バッチサイズは 512 より大きい。第1回の「並列と逐次は η/N で交換できる」が、5 回の倍加にわたって成り立っている。双曲線の折れ曲がりは、この地形ではさらに先にある。

04回収の帳簿

項目第1回・第4回での状態この回の後
一回ジャンプの公式四次で 10%六次でも 1%、r = 0.002 まで。強化
次数 → 指数の補題候補撤回(到達可能な範囲では最高次が支配しない)
Landauer の 1/τ外れ、原因は障壁の高さ(解釈)原因は手順。最適な手順で再挑戦が要る。未決
ES の双曲線外れ、原因は簡単すぎる地形(解釈)難しすぎて打ち切り。中間の地形と大きな上限で再挑戦。未決
η/N の交換則N = 1〜8 で確認N = 16〜512 でも成立。強化

05正直な線

どこで線が切れるか
まとめ
  1. Proesmans, Ehrich, Bechhoefer (2020) PRL 125, 100602(有限時間の最適消去)
  2. McCandlish, Kaplan, Amodei, OpenAI (2018)(第1回)/ Foss ら、単一大ジャンプ原理(第4回)
  3. スクリプト:scripts/es_jump_sextic2.py、scripts/landauer2.py、scripts/hyperbola2.py(出力 *_out.txt)