ぼかせば、地形はなめらかになる損失地形を目を細めて見る ── ガウス核で「ぼかす」と、浅い谷は溶けて消え、
大域の盆地だけが浮かび上がる。前回 ES が計算していた $\nabla L_\sigma$ の正体、そして σ という「解像度のダイヤル」を掴む。

必要な道具：第1回の勾配降下、第6回のガウス平滑化、簡単な期待値この回のキー：$L_\sigma(\theta)=\mathbb{E}_{\varepsilon\sim\mathcal N(0,\sigma^2 I)}\!\left[L(\theta+\varepsilon)\right]$

第1回で、盲目のボールは足もとの傾きしか見ないがゆえに浅い谷にはまって出られない、と正直に裁きました。隣にもっと深い谷があっても気づけない ── これが勾配降下法の宿命でした。今日はこの弱点を、正面から緩める道具を手に入れます。合言葉は「ぼかす」。地形の細かい凹凸を、目を細めるように均してしまえば、浅い谷は消え、本当に深い盆地だけが残る。数学の言葉では、損失 $L$ をガウス核で畳み込むこと。そしてこの操作こそ、前回 (第6回) の進化戦略 ES が知らず知らず計算していた $\nabla L_\sigma$ の正体でした。ぼかしの強さ $\sigma$ は、学習者が地形を見る解像度を決めるダイヤル ── 探索と活用のあいだで手を握る、一本のつまみです。

01第1回の宿題 ── 局所最小を、どう乗り越えるか

復習しましょう。学習とは損失 $L(\theta)$ を下げること、更新則は $\theta\leftarrow\theta-\eta\nabla L(\theta)$。ところが $\nabla L=0$ になる点は、大域最小だけとは限りません。局所最小 ── 隣にもっと深い谷があるのに、足もとが平らなせいで止まってしまう窪み ── がそこら中にあります。盲目のボールは、いま立っている谷が浅いのか深いのか、自力では判定できない。

ではどうするか。素朴なアイデアは「もっと遠くまで見渡せればいい」。でも地形の全体像を一望する神さまはいません。そこで発想を裏返します ── 地形のほうを、見やすく作り替える。細かい凹凸を均してしまえば、浅い窪みは埋まり、残るのは大づかみの起伏だけ。この「均す」を厳密にやるのが、ぼかし＝平滑化です。

02ぼかすとは ── ガウス核との畳み込み

「ぼかす」とは、各点 $\theta$ での値を、その近所の値の重み付き平均で置き換えることです。近い点ほど重く、遠い点ほど軽く。この重みにガウス分布 $p_\sigma(\varepsilon)=\dfrac{1}{(2\pi\sigma^2)^{n/2}}\exp\!\left(-\dfrac{\|\varepsilon\|^2}{2\sigma^2}\right)$ を使ったものがガウス平滑化。均した後の損失を $L_\sigma$ と書きます。

平滑化損失 ── L をガウス核でぼかす（この回のキー）

$$L_\sigma(\theta)\;=\;(L * p_\sigma)(\theta)\;=\;\int L(\theta+\varepsilon)\,p_\sigma(\varepsilon)\,d\varepsilon\;=\;\mathbb{E}_{\varepsilon\sim\mathcal N(0,\sigma^2 I)}\!\left[L(\theta+\varepsilon)\right]$$

三つの顔は同じものです。左は畳み込み $*$(信号処理の言葉)、中は積分(重み付き平均そのもの)、右は期待値(「$\theta$ の周りに $\mathcal N(0,\sigma^2 I)$ でランダムに揺らして、$L$ を平均する」)。$\sigma$ が大きいほど揺らぎが広く、遠くまで平均に取り込むので、地形は強くぼける。この右辺の期待値 ── 見覚えがあるはずです。前回 ES がサンプルで推定していたのは、まさにこの $L_\sigma$ の勾配 $\nabla L_\sigma$ でした。

第6回との接続 ── ES は「ぼかした地形」を下っていた第6回で、進化戦略 ES の更新方向が $\nabla L_\sigma(\theta)=\dfrac{1}{\sigma^2}\,\mathbb{E}_{\varepsilon}\!\left[\varepsilon\,L(\theta+\varepsilon)\right]$ に一致することを示しました(ガウスに対するスタインの等式)。つまり ES は、生の地形 $L$ ではなく、あらかじめ $\sigma$ でぼかした地形 $L_\sigma$ を、微分せずに転がっていたのです。BP が生の $\nabla L$ を計算するのに対し、ES が計算するのは常に $\nabla L_\sigma$ ── 摂動の幅 $\sigma$ が、そのまま「地形を見る解像度」になります。今日はこの $\sigma$ を主役に据えます。

03ぼかしの三性質 ── なぜ角が取れるのか

畳み込み $L_\sigma=L*p_\sigma$ には、局所最小脱出のカギとなる三つの性質があります。

(1) いくらでもなめらかになる。 たとえ $L$ が角ばっていて(微分できない点があっても)、ガウス核 $p_\sigma$ は無限回微分できます。畳み込みでは微分を滑らかな側に載せ替えられる ── $\nabla^k L_\sigma = L * \nabla^k p_\sigma$ ── ので、$L_\sigma$ は無限回微分可能($C^\infty$)になります。ぼかしは、地形の角をすべて丸めてしまう。

(2) 浅い局所最小が消える。 近所を平均すると、細い尾根や浅い窪みは打ち消し合って均されます。$\sigma$ を大きくするほど平均の範囲が広がり、まず浅い谷から順に消えて、最後には大づかみの盆地だけが残る。第1回でボールを閉じ込めていた浅い谷が、ぼかしで埋まるのです。

(3) $\sigma\to0$ で元に戻る。 $\sigma\to0$ のときガウス核はデルタ関数に潰れ($p_\sigma\to\delta$)、平均の範囲が一点に縮むので $L_\sigma\to L$。ぼかしをゼロにすれば、地形は生の $L$ に戻ります。この「戻れる」性質が、後で焼きなましの土台になります。

やってみよう ── 二次関数を、手で「ぼかして」みる

最も簡単な地形 L(θ)=θ² を平滑化する（1次元）

$$L_\sigma(\theta)=\mathbb{E}\!\left[(\theta+\varepsilon)^2\right]=\mathbb{E}\!\left[\theta^2+2\theta\varepsilon+\varepsilon^2\right]=\theta^2+2\theta\underbrace{\mathbb{E}[\varepsilon]}_{0}+\underbrace{\mathbb{E}[\varepsilon^2]}_{\sigma^2}=\theta^2+\sigma^2$$

ぼかしても足すのは定数 σ² だけ。勾配は動かない

$$\nabla L_\sigma(\theta)=2\theta=\nabla L(\theta)$$

二次関数をぼかすと、地形全体が $\sigma^2$ だけ持ち上がるだけで、形は変わりません。勾配 $2\theta$ は $\sigma$ によらず不変 ── だから ES の勾配推定(スタインの等式)が、二次関数では生の勾配 $\nabla L$ とぴったり一致する特別な場合になっています。ただしこれは二次関数だからこその奇跡。谷が複数ある地形では、ぼかしは形そのものを変え ── 浅い谷を溶かします。それを次の図で見ましょう。

04σ は解像度 ── 探索と活用のダイヤル

$\sigma$ は単なる技術パラメータではありません。それは学習者(あるいは進化)が地形を見る「解像度」です。目を細めれば大づかみの起伏が見え、目を凝らせば細部が見える ── $\sigma$ はそのピント調整のダイヤルなのです。

σ が決めるトレードオフ

$$\underbrace{\text{大きい }\sigma}_{\text{ぼんやり全体像}}\;\longleftrightarrow\;\underbrace{\text{小さい }\sigma}_{\text{くっきり細部}}$$

大きい $\sigma$（探索・exploration）。 地形は強くぼけ、浅い局所最小は消えて大域の盆地が浮かぶ。だからボールは浅い谷を脱出し、大づかみに「どのあたりが低いか」を掴めます。代償は、真の最適点がぼけること ── $L_\sigma$ の底は、生の $L$ の底と一般にずれます。

小さい $\sigma$（活用・exploitation）。 地形は生の $L$ に近づき、最適点は正確。代償は、細かい谷が全部見えてしまうこと ── 手近な局所最小にすぐ嵌まります。

大きく見れば道に迷わないが的が甘い、小さく見れば的は正確だが罠に落ちる。この綱引きが探索と活用のトレードオフです。ならば ── 最初は大きく、だんだん小さくすればいいのでは? それが次の焼きなましです。

05動かしてみる ── 浅い谷が溶けていく

下の地形 $L(\theta)$ には谷が三つあります。中央が深い谷（大域的な最小）、左右が浅い谷（局所的な最小）。細い曲線が生の $L$、太い曲線がぼかした $L_\sigma$ です。$\sigma$ スライダーを右へ動かすと、各グリッド点で近傍のガウス重み和を取る数値畳み込みで $L_\sigma$ が計算し直され、浅い谷から順に溶けていきます。「ボールを転がす」で、$L_\sigma$ の上を降下するボールがどの盆地へ落ち着くかも見られます。

図：多峰の損失 L(θ)=0.10θ²−0.70cos(2.4θ)−0.06θ（細線）と、それをガウス核でぼかした Lσ(θ)（太線）。σ を上げると浅い谷が消え、単一の盆地へ ── ボールは大 σ なら大域盆地に届く

ぼかしの強さ σ（解像度）0.05

生の地形 L(θ) ぼかした地形 Lσ(θ) ボール（Lσ上を降下） Lσ の極小

$\sigma$ を上げていくと、まず左右の浅い谷が消え、やがて地形はなだらかな単一の盆地になります(極小の数が $3\to1$ へ)。この状態でボールを右端から転がすと、途中の谷に邪魔されず大域盆地へ滑り込む ── 第1回で出られなかった浅い谷を、ぼかしが埋めてくれたのです。ただし大きすぎる $\sigma$ では $L_\sigma$ の底が中央からずれ、生の最適点とずれていることにも注意してください。

06焼きなまし ── σ を大から小へ、そして宇宙論へ

探索と活用のいいとこ取りをする定石が焼きなまし(annealing)です。まず大きな $\sigma$ で大域の盆地を掴み、次に $\sigma$ を徐々に下げて精密化する。性質(3)より $\sigma\to0$ で $L_\sigma\to L$ なので、最後には生の地形の底 ── 本当の最適点 ── へ収束できます。序盤は大づかみに正しい盆地を選び、終盤で腰を据えて底を突く。金属を高温から徐々に冷やして結晶の欠陥を減らす焼きなましと、まったく同じ発想です。

わかる宇宙論への橋 ── σ は「温度」であり「粒度」であるここで $\sigma$ が温度のように振る舞うことに注目してください。高い $\sigma$＝高温＝広く探索、低い $\sigma$＝低温＝一点に落ち着く。姉妹シリーズ「わかる宇宙論」は、宇宙を有限リソースの計算機と見て、温度を更新レートと読み替え、拡がりゆく宇宙で $c\cdot t=\text{const}$ のように解像度が時とともに細かくなっていく描像を描きました。同じ絵がここにもあります ── $\sigma$ とは有限解像度であり、無限に細かく地形を見ることは(サンプルのコスト上)できません。生命が地形を見る解像度 $\sigma$ こそ、その計算機の粒度そのもの。焼きなまし($\sigma$ を下げる)とは、宇宙が冷えて解像度を上げていく過程の、学習版なのです。次回はこの計算を地球規模で回す実体へ話を進めます。

◇ ◇ ◇

07判決 ── ぼかしは何ができて、何ができないか

ぼかし(平滑化)は局所最小脱出の強力な実用技ですが、ただ飯ではありません。正直に裁きます。

問い	ガウス平滑化の答え	判決
浅い局所最小を脱出できるか	できる。$\sigma$ を上げれば浅い谷は溶け、大域の盆地が浮かぶ	できる
見つかるのは、生の地形 $L$ の最適点か	いいえ。有限の $\sigma$ では $L_\sigma\neq L$ で、底の位置がずれる(平滑化バイアス)	σ有限だとずれる
それでも本当の最適点へ届くか	届く。$\sigma\to0$ へ焼きなませば $L_\sigma\to L$。ただしサンプル(コスト)が増える	焼きなませば◯

正直な線 ── ぼかしにも、ただ飯はない

ぼかしは局所最小脱出の実用技ですが、代償があります。大きな $\sigma$ では真の最適点がずれる($L_\sigma\neq L$)。これは焼きなましで $\sigma\to0$ にすれば回収できます ── ところが大きな $\sigma$ はサンプルの分散を増やし、同じ精度の勾配推定に必要なサンプル数、すなわち計算コストを食う。「浅い谷を脱出する自由」は、コストと引き換えでしか手に入りません。ただ飯はないのです。

それでも、この $\sigma=$「解像度」という視点は、シリーズの背骨に直結します ── 生命は有限のエネルギー(＝有限のサンプル)で地形を見て、学び、進化する。無限の解像度は買えない。ならば、この計算を実際に地球規模で回している実体とは何か? 次回、その主役を名指しします。

練習問題（今回の式だけで解けます）

$L(\theta)=\theta^2+3\theta+5$（1次元）をガウス核 $\mathcal N(0,\sigma^2)$ で平滑化した $L_\sigma(\theta)$ を求めよ。勾配 $\nabla L_\sigma$ は生の $\nabla L$ と一致するか。
答えを見る
$L_\sigma(\theta)=\mathbb{E}[(\theta+\varepsilon)^2+3(\theta+\varepsilon)+5]=(\theta^2+\sigma^2)+3\theta+5=L(\theta)+\sigma^2$。定数 $\sigma^2$ だけ持ち上がる。勾配は $\nabla L_\sigma=2\theta+3=\nabla L$ で一致する ── 二次(以下の)関数では、平滑化は勾配を変えない。
ある1次元地形が、深さの異なる谷を3つ持っている。$\sigma$ を $0$ から大きくしていくと、消える順番は「浅い谷から」か「深い谷から」か。理由も。
答えを見る
浅い谷から消える。局所最小が消えるのは、それを囲む障壁(局所最大)がぼかしで均されて谷が埋まるとき。浅い谷は障壁との高低差が小さいので、小さな $\sigma$ で先に均されて消える。深く広い盆地ほど、大きな $\sigma$ まで生き残る。図で $\sigma$ を上げて確かめられる。
焼きなまし($\sigma$ を大→小へ下げる)が、固定した中くらいの $\sigma$ より優れているのはなぜか。性質(2)(3)を使って説明せよ。
答えを見る
序盤の大きな $\sigma$ では性質(2)により浅い谷が消え、正しい大域盆地を選べる(探索)。終盤 $\sigma\to0$ では性質(3)により $L_\sigma\to L$ となり、その盆地の真の底へ収束できる(活用)。固定 $\sigma$ では、大きすぎれば底がずれ(バイアス)、小さすぎれば浅い谷に嵌まる ── 両立できない。時間をかけて $\sigma$ を下げることで、探索と活用を順に手に入れる。

第7回まとめぼかせば、浅い谷は溶ける

局所最小の弱点(第1回)を、地形を「ぼかす」ことで緩める(STEP 01)。ぼかしとはガウス核との畳み込み $L_\sigma=L*p_\sigma=\mathbb{E}_\varepsilon[L(\theta+\varepsilon)]$、これは前回 ES が計算していた $\nabla L_\sigma$ の地形そのもの(STEP 02)。ぼかしには三性質 ── (1)無限回微分可能になる、(2)浅い局所最小が消える、(3)$\sigma\to0$ で $L$ に戻る(STEP 03)。二次関数では平滑化は勾配を変えず(定数 $\sigma^2$ が乗るだけ)、スタインの推定が生の勾配と一致する特別な場合(calc)。$\sigma$ は解像度＝探索と活用のダイヤルで、大は全体像・小は精密(STEP 04)。図では $\sigma$ を上げると極小が $3\to1$ に(STEP 05)。焼きなまし($\sigma$ 大→小)で大域盆地を掴んでから精密化でき、$\sigma$ は温度・粒度として宇宙論と響き合う(STEP 06)。ただし有限 $\sigma$ は底をずらし、大 $\sigma$ は分散＝コストを食う ── ただ飯はない(STEP 07)。

ぼかしは、盲目のボールに「目を細める」自由を与えました。だがその解像度は有限のエネルギーで買うしかない。この「有限リソースで地形を見て学ぶ」という視点が、次回いよいよ地球規模へ拡大します ── 生命が回す、巨大な学習の計算機へ。

次回予告 ── 第8回 生物圏は、一台のGPUである。 ぼかした地形を、有限のエネルギーで、無数のサンプルで転がる ── その計算を地球規模で実際に回している実体こそ、生命の総体＝生物圏です。太陽から降るエネルギーを燃料に、無数の生きものが並列に $\nabla L_\sigma$ を推定し続ける一台の巨大な計算機として、生物圏を読み解きます。σ という解像度は、そこで「使えるエネルギー」に翻訳されます。

この文書は「わかる学習論」シリーズ第7回、物理・数学・AIに興味のある高校生・大学生向けの読み物です。平滑化損失 $L_\sigma=L*p_\sigma=\mathbb{E}_{\varepsilon\sim\mathcal N(0,\sigma^2 I)}[L(\theta+\varepsilon)]$、ガウス畳み込みが対象を無限回微分可能にすること($\nabla^k L_\sigma=L*\nabla^k p_\sigma$)、$\sigma\to0$ で $p_\sigma\to\delta$ より $L_\sigma\to L$ となること、二次関数の平滑化 $L_\sigma(\theta)=\theta^2+\sigma^2$ で勾配が不変なこと、および $\nabla L_\sigma(\theta)=\sigma^{-2}\,\mathbb{E}_\varepsilon[\varepsilon\,L(\theta+\varepsilon)]$(ガウスに対するスタインの等式、第6回)は、いずれも確立した数学です。「浅い局所最小ほど小さい $\sigma$ で先に消える」は一般の滑らかな多峰関数についての定性的な傾向で、厳密には障壁高さと谷幅に依存します。本稿の図の地形 $L(\theta)=0.10\theta^2-0.70\cos(2.4\theta)-0.06\theta$ は説明用の模型で、極小の位置・深さや消える $\sigma$ の値は数値的な目安です。図の $L_\sigma$ は各グリッド点でガウス重み和 $\sum_k L(\theta+k\Delta)\exp(-(k\Delta)^2/2\sigma^2)$ を正規化した数値畳み込みで計算しています。焼きなまし(annealing)と温度・解像度の対応、および「わかる宇宙論」との接続は、機能的・概念的なアナロジーとしての提案です。 ── 印刷する場合はブラウザの「印刷」から「PDF に保存」を（印刷版ではスライダーと解答は静止・非表示になります）。

印刷 / PDF 化：⌘+P（Windows は Ctrl+P）。画面では「ぼかしの強さ σ」を動かすと浅い谷が溶け、「ボールを転がす」で Lσ 上を降下するボールが見られます。「答えを見る」で解答が開きます。

問い	ガウス平滑化の答え	判決
浅い局所最小を脱出できるか	できる。\(\sigma\) を上げれば浅い谷は溶け、大域の盆地が浮かぶ	できる
見つかるのは、生の地形 \(L\) の最適点か	いいえ。有限の \(\sigma\) では \(L_\sigma\neq L\) で、底の位置がずれる(平滑化バイアス)	σ有限だとずれる
それでも本当の最適点へ届くか	届く。\(\sigma\to0\) へ焼きなませば \(L_\sigma\to L\)。ただしサンプル(コスト)が増える	焼きなませば◯