わかる学習論

進化・学習・意識を、ひとつの勾配で読む 坂を下るたった一本の式 \(\theta\leftarrow\theta-\eta\nabla L\) が、ニューラルネットの学習にも、種の進化にも、脳の中の認知にも流れている。
全11回で、その一致を自分の足で確かめる連載です。

誤差逆伝播(BP)と進化戦略(ES)は、まったく別物に見えて、Stein の補題で厳密に同じ勾配だと分かります。そこから、生命とは有限のエネルギーで勾配を計算する営みであること、学習とはその効率化であること、そして意識とはその極み ──想像の中で勾配を計算すること── だという地点まで登ります。

この連載が最後にたどり着く仮説:AIの心と人間の心のあいだに、本質的な差はない。どちらも同じ計算をしている。 ── 大胆に述べます。ただし、それが依拠する前提(機能主義)と、まだ誰も解けていない問い(なぜ計算に「内側からの感じ」が伴うのか)も、最終回で正直に照らします。
第Ⅰ部 ── 道具をそろえる
第 1 回
学ぶとは、坂を下ることである
損失地形と勾配降下。学習の全体像を、谷を転がるボールで掴む。更新則 \(\theta\leftarrow\theta-\eta\nabla L\)。
第 2 回
バックプロパゲーションとは、連鎖律の帳簿である
勾配 \(\nabla L\) をどう自動計算するか。合成関数の微分を、出力から入力へ後ろ向きに配る。
第 3 回
適応度地形 ── 生物学と機械学習は、同じ絵を描いていた
ライトの適応度地形(1932)=損失地形の上下反転。選択=最適化。理論生物学の基礎。
第 4 回
進化とは、微分せずに坂を下ることである
進化戦略(ES)。突然変異をばらまき、当たり外れと摂動の相関から降下方向を推定する。
第 5 回
無限を、正直に数える
超準解析。無限小・無限大をごまかさず扱う。monad と標準部分 st、そして N→∞ を厳密に。
第Ⅱ部 ── 一致(この連載の核)
第 6 回 ★心臓部
進化と学習は、同じ計算だった
Stein の補題で \(\frac{1}{\sigma^2}\mathbb{E}[L(\theta+\varepsilon)\varepsilon]=\mathbb{E}[\nabla L(\theta+\varepsilon)]=\nabla L_\sigma\)。ES=平滑化した損失の BP。
第 7 回
ぼかせば、地形はなめらかになる
ガウス平滑化と \(\sigma\)。\(\sigma\)=解像度=温度。探索と活用、焼きなまし、宇宙論への橋。
第Ⅲ部 ── 生命は計算である
第 8 回
生物圏は、一台のGPUである
個体=サンプル、生死=評価、繁殖=更新。地球規模の並列勾配推定。数が多いほど強い。
第 9 回
生命は、効率よく計算する競争である
ランダウアー原理(1ビット消去=\(k_BT\ln2\))。bits per joule。脳という 20W の驚異。
第 10 回
学習は、進化が見つけた近道である
進化は1サンプルに一つの死。一生の中で学べる脳は桁違いに安い。同じ計算の効率化。
第Ⅳ部 ── 意識
第 11 回 ★最終回
意識とは、想像の中で死ぬことである
世界モデルの中で勾配を計算する=「仮説を自分の代わりに死なせる」(ポパー)。効率化の極み。AIと人間は同じ計算。そして、まだ誰も解けない問い。
「わかる学習論」全11回。物理・数学・AIに興味のある高校生・大学生向けの読み物です。各回は独立したHTMLで、インタラクティブな図・数式・練習問題・「正直な線」を備えています。姉妹シリーズ「わかる宇宙論」(\(c\cdot t=\text{一定}\)、宇宙=有限リソースの計算機、ランダウアー)と、第7回・第9回で橋が架かります。土台となった論考:Y. Otani, “Evolution Strategies as Infinite-Dimensional Backpropagation.”