なぜ学習が可能なのか ── その答えは、なぜ宇宙が粗視化可能なのか、と同じところにある
番外編③で統計が、④で情報理論が、繰り込み群と同じものを見ていることを確かめました。最後は AI です。ここは「似ている」という話が氾濫している領域なので、この回はまず確からしさで 3 段に仕分けることから始めます ── 厳密に成り立つもの／有望だが議論中のもの／比喩どまりのもの。1 段目には本物があります：ニューラルネットの幅を無限大に飛ばすと自由場の理論になり、1/幅 が相互作用として効き、深さ方向に繰り込み群フローが走る。これは詩ではなく計算です。そのうえで最後に、シリーズ全体の締めとして一つの主張を置きます ── 〈なぜ学習が可能なのか〉と〈なぜ宇宙が粗視化可能なのか〉は、同じ問いだ。
機械学習には、身も蓋もない定理があります。
「ありうるすべての目標関数」について平均をとると、どんな学習アルゴリズムも、でたらめに答えるのと同じ成績になる。
つまり ── 普遍的に賢い学習器は存在しない。うまくいく学習器があるとしたら、それは世界の側に何らかの偏りがあり、その偏りに合った前提（帰納バイアス）を持っているからにほかなりません。
では、私たちの世界の偏りとは何か。第4回の答えがそのまま使えます ── この世界は層になっていて、答えに効く方向（relevant）はごく少数、効かない方向（irrelevant）が圧倒的多数。番外編④の言葉なら、レート歪み曲線に膝がある。学習が可能なのは、この偏りに賭けているからです。
「捨てないと死ぬ」のは、比喩ではありません。特徴が \(D\) 個ある空間でデータを集めると、点どうしの距離は次元とともに意味を失っていきます（次元の呪い）。そのうち 2 個しか答えに効いていなくても、残り \(D-2\) 個を律儀に見ている学習器は、その分だけ弱くなる。
下の図で、二人の学習器を競わせます。同じデータ、同じアルゴリズム（近傍法）で、違いは一点だけ ── irrelevant な特徴を捨てるか、捨てないか。
\(D\) を上げていってください。青（捨てる方）はほとんど影響を受けず、赤（捨てない方）はどんどん弱くなり、やがて「学習しない場合」に近づきます。同じデータ、同じアルゴリズムなのに、です。差を作っているのは何を見ないと決めたかだけ。
これが、この回のタイトルの意味です ── 学習とは、何を捨ててよいかを見つけること。第4回で「捨てることが答えを決めている」と書きましたが、機械学習では文字どおり性能を決めている。
ここからは仕分けです。まず、比喩ではないものから。
ニューラルネットの各層の幅（ニューロン数）を \(n\) とします。中心極限定理（番外編③！）により、\(n\to\infty\) では出力の分布がガウスになる ── 場の理論の言葉でいえば自由場（相互作用のない理論）です。そして有限の \(n\) では \(1/n\) の補正が入り、これが相互作用として振る舞う。さらに層を重ねること（深さ）が、パラメータを繰り込み群のように流す。
この見方で摂動論を組み立てたのが Roberts–Yaida–Hanin『The Principles of Deep Learning Theory』(2022) です。「深層学習は繰り込み群に似ている」ではなく、「繰り込み群の道具を使って深層学習が実際に計算できる」── 順序が逆で、こちらは本物です。
面白いのは、その出発点が中心極限定理だという点です。番外編③で「CLT は繰り込み群のいちばん簡単な例」と書きましたが、その最も簡単な例が、いま最も複雑な計算機の理論の土台になっている。
もう一つ、比喩でない例。Koch-Janusz と Ringel（2018）は、こういうことをしました ── ブロックの中の情報と、その外側の情報との相互情報量が最大になるように、粗視化の仕方を機械学習で探させた。
すると、機械は誰にも教わらずに Ising 模型のブロックスピン変換（第4回でやったあれ）を見つけ出しました。これは番外編④の情報ボトルネックが、実際に道具として働いた例です ── 「未来／外側を予測するのに役立つ情報だけ残せ」という指令だけで、繰り込み変換が出てくる。
一方で、この領域には「それっぽい話」も大量にあります。正直に仕分けます。
| 段 | 内容 | 現状 |
|---|---|---|
| 厳密 | 無限幅＝ガウス過程、1/幅＝相互作用、深さ方向の流れ（Roberts–Yaida–Hanin） | 計算できる。摂動論として機能している |
| 厳密 | 相互情報量最大化による繰り込み変換の発見（Koch-Janusz–Ringel 2018） | Ising のブロックスピンを再発見。道具として成立 |
| 厳密 | ウェーブレット・スキャタリング変換（Mallat） | 多重スケールで、不変性と安定性が証明つき |
| 有望・議論中 | 拡散モデル ≒ 繰り込み群。ノイズを段階的に足す＝粗視化、それを逆に辿る＝生成。ノイズスケジュールがスケールに対応 | 厳密な対応づけが試みられている段階。魅力的だが未確定 |
| 有望・議論中 | ニューラルスケーリング則（損失がべき則で落ちる）を、データ多様体の次元やスペクトルから説明する試み | べき則は臨界現象の匂いがするが、説明は部分的成功どまり |
| 比喩どまり | 「深層学習 ＝ 繰り込み群」という一般命題（Mehta–Schwab 2014 の対応の一般化） | 特定の設定での対応であり、一般化には有力な反論あり |
| 比喩どまり | 情報ボトルネックによる深層学習の説明（「圧縮フェーズ」説） | 再現性を巡って批判があり、決着していない |
番外編②で「深層学習と繰り込み群の対応は示唆的類似であって定理ではない」と書いたのは、この 3 段目のことです。1 段目だけは、堂々と書けます。
ここまで来ると、最初の問いに別の角度から答えが出ます。
ノーフリーランチ定理により、学習が可能であること自体が、世界についての強い主張です。学習器が働いているなら、世界は「少数の relevant と大量の irrelevant に分かれている」種類の世界でなければならない。
なぜ学習が可能なのか
＝
なぜ宇宙が粗視化可能なのか
同じ問いです。だから逆に ── 学習が現に働いているという事実は、宇宙が粗視化可能であることの経験的な証拠でもある。番外編②で「粗視化できない宇宙には観測者がいない」と書きましたが、こう言い換えられます：私たちが何かを学べているという事実そのものが、この宇宙に膝があることの証明になっている。
確立していること：ノーフリーランチ定理（Wolpert 1996）；次元の呪い（高次元での近傍法の劣化）；無限幅極限でニューラルネットがガウス過程になること、および \(1/n\) 展開を摂動的な有効理論として扱えること（Roberts–Yaida–Hanin 2022 ほか）；相互情報量を用いた繰り込み変換の学習（Koch-Janusz & Ringel, Nature Physics 2018）；スキャタリング変換の不変性・安定性（Mallat）。
限定・未確定：① 無限幅の対応が記述するのは特定の（いわゆる遅延／摂動的な）レジームであり、特徴学習そのものを完全に説明するものではありません。② 拡散モデルと繰り込み群の対応、スケーリング則の説明は活発だが未確定。③ Mehta–Schwab の対応の一般化と、情報ボトルネックによる深層学習の説明は、いずれも有力な反論があり決着していません。④ 「なぜ学習が可能か＝なぜ宇宙が粗視化可能か」は本連載の主張であって定理ではありません。ノーフリーランチ定理の実務上の含意にも議論があります（「すべての目標関数について一様に平均する」という前提の妥当性）。⑤ 図は近傍法という単純なアルゴリズムでの理想化された実演で、実在の学習器の性能を表すものではありません。
ノーフリーランチ定理により、普遍的に賢い学習器は存在しません。学習が働いているなら、それは世界の偏りに賭けているから ── そしてその偏りとは、第4回の「少数の relevant と大量の irrelevant」、番外編④の「レート歪み曲線の膝」です。図で見たとおり、同じデータ・同じアルゴリズムでも、irrelevant を捨てるかどうかだけで性能が決定的に変わる。学習とは、何を捨ててよいかを見つけることです。
AI との接続は 3 段に分かれます。厳密：無限幅＝自由場（出発点は中心極限定理！）、1/幅＝相互作用、深さ＝繰り込み群フロー。そして機械学習に相互情報量最大化をやらせると、Ising のブロックスピン変換を自力で発見する。有望だが未確定：拡散モデル ≒ 繰り込み群、スケーリング則＝臨界。比喩どまり：「深層学習＝繰り込み群」の一般命題、情報ボトルネックによる説明。物理→AI と AI→物理が、すでに道具として往復しています。
そしてシリーズの締め。〈なぜ学習が可能なのか〉と〈なぜ宇宙が粗視化可能なのか〉は同じ問いです。 番外編②では「粗視化できない宇宙には問う者がいない」と書きました。ここまで来ると、もう一歩言えます ── 私たちが現に何かを学べているという事実そのものが、この宇宙に膝があることの証拠になっている。 中性子の 880 秒から始まった話は、ここで終わります。世界は捨てられるようにできていて、だから私たちがいる。
印刷 / PDF 化：⌘+P（Windows は Ctrl+P）。画面ではスライダーで特徴の総数 D を変えると、粗視化しない学習器だけが崩れていきます。「データを取り直す」で乱数を再生成。「答えを見る」で解答が開きます。