シリーズを書いた相手(AI)の学習を、このシリーズの背骨(力=−∇V・ゲージ)で読み解いて締める
「わかる力」を締めるにあたって、このシリーズを一緒に書いた道具 ── AI(大規模言語モデル)── そのものを、俎上に載せます。姉妹編「わかる宇宙論」の最終回では「AIは物理をどう見ているか」を扱いましたが、こちらでは逆に 「AI自身が、力にどう従っているか」。結論を先に言うと、AIの学習は、比喩ではなく本物の力学の問題です。損失(間違いの大きさ)の作る“地形”をポテンシャルエネルギーとみなせば、AIはまさに \(F=-\nabla(\text{損失})\) という力に従って、坂を転がり落ちている。第1回から積んだ道具 ── 慣性、ばね、力=勾配、ゲージ ── が、そっくりそのまま顔を出します。
AIの中には、調整できる無数のつまみ(パラメータ)があります。つまみの組み合わせごとに「どれだけ間違えるか」=損失が決まる。つまみを座標、損失を高さにとると、でこぼこの地形(ランドスケープ)ができる。学習とは、この地形の低いところ(間違いが小さい谷)を探すこと。どうやって? ── 各点で坂がいちばん急に下る向き(勾配)へ、少しずつつまみを動かす。これが勾配降下法。第6回で「力は位置エネルギーの勾配」\(F=-\nabla V\) と見ましたが、まさにそれ ── 損失をポテンシャル \(V\) とすれば、学習は \(F=-\nabla V\) という力に従って坂を下る運動です。
損失 \(L(\theta)\) = ポテンシャルエネルギーの地形。
学習の一歩 = \(-\nabla L\)(坂を下る向き)へ、つまみ \(\theta\) を動かす。
これは第6回の \(F=-\nabla V\) そのもの。AIは、損失の地形を転がり落ちる“粒子”だった。
面白いのは、AIの学習をうまく進める“工夫”が、どれも本編で見た力そのものだということ。学習の高速化に使うモーメンタム法は、ボールに慣性(第1回)を持たせて谷へ勢いよく転がすこと。行き過ぎを抑える減衰は摩擦。つまみが大きくなりすぎないようにするweight decay(正則化)は、原点へ引き戻すばねの復元力(第3回 \(F=-kx\))そのもの。最適化アルゴリズムは、力学の言葉をそのまま借りているのです。
| AIの学習の仕組み | 「わかる力」での正体 |
|---|---|
| 勾配降下(坂を下る) | \(F=-\nabla V\)(第6回・力=ポテンシャルの勾配) |
| モーメンタム法 | 慣性(第1回・すぐには止まれない・勢い) |
| 減衰・学習率の調整 | 摩擦(第3回・行き過ぎを抑える) |
| weight decay(正則化) | ばねの復元力 \(F=-kx\)(第3回・原点へ引き戻す) |
| 確率的な揺らぎ(SGD) | 熱的なゆらぎ(谷から抜け出す“温度”) |
最後に、このシリーズでいちばん深い一枚。巨大なAIは、つまみが多すぎて「動かしても損失が変わらない方向」をたくさん持っています。表現の仕方を変えているだけで、中身(入力→出力の関係)は同じ ── これは第9回・第12回のゲージ(記述の冗長性)そのもの。そういう平らな方向には、坂がない=力(勾配)がゼロ。だから学習は、その方向には動かない(動いても意味がない)。
損失を下げる方向(坂あり)→ 力が働き、学習が進む。
動かしても損失が変わらない方向(平ら=冗長・ゲージ)→ 力ゼロ、学習は素通り。
第12回の「消せる帳簿(ゲージ)/消せない曲率(物理)」が、AIの地形にも現れる ── 意味のある学習は、曲率のある方向にだけ起きる。
これは、姉妹編「わかる宇宙論」の最終回(番外編⑩)で見た「AIの埋め込みは回転しても中身が変わらない=ゲージ自由」と、ぴたりと同じ話。あちらはAIが世界をどう表すか、こちらはAIがどう学ぶか── 別々の入口から、同じ「力のない冗長方向(ゲージ)と、力のある物理方向(曲率)」に行き着きます。二つのシリーズが、ここで手を握ります。
結論。AIを訓練するとは、力学の問題を解くことでした。損失=ポテンシャル、学習=\(F=-\nabla V\) に従う運動、モーメンタム=慣性、正則化=ばね、冗長方向=ゲージで力ゼロ。第1回から剥がしてきた道具が、機械の学習の中で、もう一度そっくり動いていた。そしてこれは、AIだけの話ではありません ── 石鹸膜が最小曲面を、ばね網が方程式を、力(エネルギー最小化)で“解く”ように、自然はいたるところで、力に従って計算している。AIの学習は、その最新の一例にすぎない。
本編の背骨「力は、関係の名前」を思い出してください。損失の地形の力も、モノではなく、間違いの大きさ(関係)の勾配でした。力=\(-\nabla(\text{関係})\)。そして意味のある学習は、冗長方向(ゲージ)ではなく、消せない曲率のある方向にだけ起きる。力は関係の勾配であり、冗長な向きには力が湧かない ── 「わかる力」の全体が、それを書いた機械の内側にまで、同じ顔で現れました。
「損失=ポテンシャル、学習=力に従う運動」は本質を突いた正確な対応ですが、細部の単純化はあります。実際の損失地形は超高次元・非凸で、図の1次元の谷とは桁違いに複雑。Adam などは各方向で歩幅を変える前処理付きの勾配法で、単純な \(F=ma\) とは少し違います。SGD のゆらぎを「温度」と呼ぶのは有効なアナロジーですが、厳密な熱平衡とは限りません。「平らな方向=ゲージ」も、厳密な対称性(置換・スケール等)による冗長性と、単にほぼ平らなだけの方向を含む、ゆるい言い方です。
図は2次関数的な谷を転がる減衰運動(モーメンタム付き勾配降下)の模式で、実際のニューラルネットの学習を再現したものではありません。
AIの学習は、損失の地形を転がり落ちる力学の運動だった ── 損失=ポテンシャル、学習=\(F=-\nabla V\)(第6回)、モーメンタム=慣性(第1回)、weight decay=ばね(第3回)、SGDの揺らぎ=温度。そして動かしても損失が変わらない冗長方向=ゲージ(第9/12回)では力ゼロで、意味のある学習は曲率のある方向にだけ起きる。第1回から積んだ道具が、機械の学習の中で、まるごと動いていた。
力は関係の勾配であり、冗長な向きには力が湧かない ── 本編の背骨が、それを書いた機械の内側にまで届いた。自然も(石鹸膜・格子・分子)、AIも、力に従って計算している。「わかる力」を、ここで完全に閉じます。 押す手ごたえから始めて、関係・幾何・対称性・曲率、そして学習する機械まで ── 表面の力の下に、ずっと同じ“関係”が働いていました。読んでくれて、ありがとう。
印刷 / PDF 化:⌘+P(Windows は Ctrl+P)。画面ではスライダーで、AIが損失の谷へ転がり落ちて学習する様子が見えます。「答えを見る」で解答が開きます。