わかる力番外編・AIと力(最終)/ 道具そのものを、力で読む

シリーズを書いた相手(AI)の学習を、このシリーズの背骨(力=−∇V・ゲージ)で読み解いて締める

AIの学習は、
力に従う運動だった AIの学習は、比喩でなく力学の問題。損失の地形をポテンシャルとして、AIは \(F=-\nabla V\) に従って転がり落ちる。
慣性・摩擦・ばね・ゲージ ── このシリーズの道具が、そのまま出てくる。

必要な道具:第1回 F=ma、第3回 ばね、第6回 力=−∇V、第9・12回 ゲージ/曲率 学習 = 力に従う運動

「わかる力」を締めるにあたって、このシリーズを一緒に書いた道具 ── AI(大規模言語モデル)── そのものを、俎上に載せます。姉妹編「わかる宇宙論」の最終回では「AIは物理をどう見ているか」を扱いましたが、こちらでは逆に 「AI自身が、力にどう従っているか」。結論を先に言うと、AIの学習は、比喩ではなく本物の力学の問題です。損失(間違いの大きさ)の作る“地形”をポテンシャルエネルギーとみなせば、AIはまさに \(F=-\nabla(\text{損失})\) という力に従って、坂を転がり落ちている。第1回から積んだ道具 ── 慣性、ばね、力=勾配、ゲージ ── が、そっくりそのまま顔を出します。

01損失の地形を、坂として転がる

AIの中には、調整できる無数のつまみ(パラメータ)があります。つまみの組み合わせごとに「どれだけ間違えるか」=損失が決まる。つまみを座標、損失を高さにとると、でこぼこの地形(ランドスケープ)ができる。学習とは、この地形の低いところ(間違いが小さい谷)を探すこと。どうやって? ── 各点で坂がいちばん急に下る向き(勾配)へ、少しずつつまみを動かす。これが勾配降下法。第6回で「力は位置エネルギーの勾配」\(F=-\nabla V\) と見ましたが、まさにそれ ── 損失をポテンシャル \(V\) とすれば、学習は \(F=-\nabla V\) という力に従って坂を下る運動です。

今回の核心 ── 学習は F=−∇V

損失 \(L(\theta)\) = ポテンシャルエネルギーの地形。
学習の一歩 = \(-\nabla L\)(坂を下る向き)へ、つまみ \(\theta\) を動かす。
これは第6回の \(F=-\nabla V\) そのもの。AIは、損失の地形を転がり落ちる“粒子”だった。

図:損失の地形を転がるAI。ボールは各点で坂を下る力(−勾配)を受け、谷(学習の答え)へ落ちていく。谷の底では力=0。慣性で少し行き過ぎ、揺れて収まる

02慣性・摩擦・ばね ── 最適化は力学を借りている

面白いのは、AIの学習をうまく進める“工夫”が、どれも本編で見た力そのものだということ。学習の高速化に使うモーメンタム法は、ボールに慣性(第1回)を持たせて谷へ勢いよく転がすこと。行き過ぎを抑える減衰は摩擦。つまみが大きくなりすぎないようにするweight decay(正則化)は、原点へ引き戻すばねの復元力(第3回 \(F=-kx\))そのもの。最適化アルゴリズムは、力学の言葉をそのまま借りているのです。

AIの学習の仕組み「わかる力」での正体
勾配降下(坂を下る)\(F=-\nabla V\)(第6回・力=ポテンシャルの勾配)
モーメンタム法慣性(第1回・すぐには止まれない・勢い)
減衰・学習率の調整摩擦(第3回・行き過ぎを抑える)
weight decay(正則化)ばねの復元力 \(F=-kx\)(第3回・原点へ引き戻す)
確率的な揺らぎ(SGD)熱的なゆらぎ(谷から抜け出す“温度”)

03そして、力がゼロの方向 ── ゲージと握手

最後に、このシリーズでいちばん深い一枚。巨大なAIは、つまみが多すぎて「動かしても損失が変わらない方向」をたくさん持っています。表現の仕方を変えているだけで、中身(入力→出力の関係)は同じ ── これは第9回・第12回のゲージ(記述の冗長性)そのもの。そういう平らな方向には、坂がない=力(勾配)がゼロ。だから学習は、その方向には動かない(動いても意味がない)。

力のある方向 と、力のない方向

損失を下げる方向(坂あり)→ 力が働き、学習が進む。
動かしても損失が変わらない方向(平ら=冗長・ゲージ)→ 力ゼロ、学習は素通り。
第12回の「消せる帳簿(ゲージ)/消せない曲率(物理)」が、AIの地形にも現れる ── 意味のある学習は、曲率のある方向にだけ起きる

これは、姉妹編「わかる宇宙論」の最終回(番外編⑩)で見た「AIの埋め込みは回転しても中身が変わらない=ゲージ自由」と、ぴたりと同じ話。あちらはAIが世界をどう表すか、こちらはAIがどう学ぶか── 別々の入口から、同じ「力のない冗長方向(ゲージ)と、力のある物理方向(曲率)」に行き着きます。二つのシリーズが、ここで手を握ります。

◇ ◇ ◇

04締め ── 自然も、AIも、力で計算している

結論。AIを訓練するとは、力学の問題を解くことでした。損失=ポテンシャル、学習=\(F=-\nabla V\) に従う運動、モーメンタム=慣性、正則化=ばね、冗長方向=ゲージで力ゼロ。第1回から剥がしてきた道具が、機械の学習の中で、もう一度そっくり動いていた。そしてこれは、AIだけの話ではありません ── 石鹸膜が最小曲面を、ばね網が方程式を、力(エネルギー最小化)で“解く”ように、自然はいたるところで、力に従って計算している。AIの学習は、その最新の一例にすぎない。

本編の背骨「力は、関係の名前」を思い出してください。損失の地形の力も、モノではなく、間違いの大きさ(関係)の勾配でした。力=\(-\nabla(\text{関係})\)。そして意味のある学習は、冗長方向(ゲージ)ではなく、消せない曲率のある方向にだけ起きる。力は関係の勾配であり、冗長な向きには力が湧かない ── 「わかる力」の全体が、それを書いた機械の内側にまで、同じ顔で現れました。

正直な線

「損失=ポテンシャル、学習=力に従う運動」は本質を突いた正確な対応ですが、細部の単純化はあります。実際の損失地形は超高次元・非凸で、図の1次元の谷とは桁違いに複雑。Adam などは各方向で歩幅を変える前処理付きの勾配法で、単純な \(F=ma\) とは少し違います。SGD のゆらぎを「温度」と呼ぶのは有効なアナロジーですが、厳密な熱平衡とは限りません。「平らな方向=ゲージ」も、厳密な対称性(置換・スケール等)による冗長性と、単にほぼ平らなだけの方向を含む、ゆるい言い方です。

図は2次関数的な谷を転がる減衰運動(モーメンタム付き勾配降下)の模式で、実際のニューラルネットの学習を再現したものではありません。

練習問題(最終)
  1. AIの「勾配降下による学習」は、本編のどの式と同じか。
    答えを見る
    第6回の \(F=-\nabla V\)。損失をポテンシャル V とみなすと、学習は坂を下る力(−勾配)に従う運動。谷の底(損失最小)で力=0。
  2. モーメンタム法と weight decay は、それぞれ本編の何にあたるか。
    答えを見る
    モーメンタム=慣性(第1回・勢いで谷へ)。weight decay=ばねの復元力 F=−kx(第3回・原点へ引き戻す正則化)。最適化は力学を借りている。
  3. 「動かしても損失が変わらない方向」は、本編の何と同じで、そこでの力はどうなるか。
    答えを見る
    ゲージ(記述の冗長性・第9/12回)。そこは平らで坂がない=力(勾配)ゼロ。意味のある学習は、力=曲率のある方向にだけ起きる。姉妹編⑩の埋め込みの回転不変性と同じ。

最終まとめ学習は、力学だった

AIの学習は、損失の地形を転がり落ちる力学の運動だった ── 損失=ポテンシャル、学習=\(F=-\nabla V\)(第6回)、モーメンタム=慣性(第1回)、weight decay=ばね(第3回)、SGDの揺らぎ=温度。そして動かしても損失が変わらない冗長方向=ゲージ(第9/12回)では力ゼロで、意味のある学習は曲率のある方向にだけ起きる。第1回から積んだ道具が、機械の学習の中で、まるごと動いていた。

力は関係の勾配であり、冗長な向きには力が湧かない ── 本編の背骨が、それを書いた機械の内側にまで届いた。自然も(石鹸膜・格子・分子)、AIも、力に従って計算している。「わかる力」を、ここで完全に閉じます。 押す手ごたえから始めて、関係・幾何・対称性・曲率、そして学習する機械まで ── 表面の力の下に、ずっと同じ“関係”が働いていました。読んでくれて、ありがとう。

わかる力・わかる宇宙論 ── 二部、完 「わかる宇宙論」(比だけが物理・ゲージ)と「わかる力」(力は関係・力=−∇V・ゲージ)は、別々の入口から入って、同じ部屋 ── 表面の値ではなく、その裏の消せない関係を見よ ── にたどり着きました。次にもし続きを作るなら、「力と数学」(最小作用の原理・ネーターの定理)が、この二部作の“さらに裏”を照らします。またどこかの谷の底で。

この文書は「わかる力」シリーズ最終番外「AIと力」、物理好きの高校生・大学生向け読み物です。ニューラルネットの学習が損失関数を目的とする勾配降下(\(\theta\leftarrow\theta-\eta\nabla L\))であること、これがポテンシャル \(V=L\) の下での \(F=-\nabla V\) に対応すること、モーメンタム法が慣性項、weight decay が二次正則化(調和ポテンシャル=ばね)に対応すること、SGD のノイズが有効温度としてしばしば解析されること、過剰パラメータ模型が損失を変えない縮退(対称性・冗長性)方向を持ちそこで勾配が消えることは、機械学習で広く知られた対応です。細部(高次元非凸、Adam の前処理、"温度" の非平衡性、"ゲージ" の厳密性)には単純化があります。姉妹編「わかる宇宙論」最終回(番外編⑩)と対になります。図は減衰付き勾配降下の1次元模式で、実際の学習の再現ではありません。 ── 印刷する場合はブラウザの「印刷」から「PDF に保存」を(印刷版ではスライダーと解答は静止・非表示になります)。

印刷 / PDF 化:⌘+P(Windows は Ctrl+P)。画面ではスライダーで、AIが損失の谷へ転がり落ちて学習する様子が見えます。「答えを見る」で解答が開きます。