わかる学習論第 6 回／統一 ── ES＝BP、シリーズの心臓部

進化・学習・意識を、ひとつの勾配で読む

進化と学習は、同じ計算だった微分せずに坂を下る「進化戦略(ES)」と、微分で坂を下る「誤差逆伝播(BP)」。
まったく別物に見える二つが、Stein の補題というたった一本の等式で、厳密に同じ勾配だと分かる。

必要な道具：ガウス積分・部分積分、第5回の超準解析この回のキー：$\dfrac{1}{\sigma^2}\,\mathbb{E}\!\left[L(\theta+\varepsilon)\,\varepsilon\right]=\nabla L_\sigma(\theta)$

ここまでのシリーズで、私たちは二つの「坂の下り方」を手にしました。ひとつは第2回の誤差逆伝播(BP) ── 損失を微分し、勾配 $\nabla L$ をまっすぐ計算して下る、鋭い局所の道具。もうひとつは第4回の進化戦略(ES) ── 微分を一切使わず、たくさんの摂動をばらまいて「良かった方向」を平均する、鈍いが頑健な集団の道具。微分する学習と微分しない進化。両者は哲学からして正反対に見えます。ところが本当は、両者はまったく同じ勾配を計算している。ES は「積分」の顔をした BP であり、BP は「微分」の顔をした ES なのです。この一致を証明するのが、統計学の古典 ── Stein の補題。この回はシリーズの心臓部です。数式の導出をひとつも飛ばさず、最後の恒等式まで自分の足で歩ききりましょう。

01二つの下り方 ── 積分と微分

まず、両者の姿を並べます。第7回で主役になる平滑化損失(ガウス平滑化)を先取りしておきます。損失 $L$ を、中心 $\theta$ のまわりに標準偏差 $\sigma$ のガウスノイズ $\varepsilon$ でぼかした「ならし」の損失です。

平滑化損失（θ のまわりを σ でぼかす）

$$J(\theta)\;=\;\mathbb{E}_{\varepsilon\sim\mathcal{N}(0,\sigma^2 I)}\!\bigl[\,L(\theta+\varepsilon)\,\bigr]\;=\;L_\sigma(\theta)$$

この $L_\sigma$ を下げたい、というのが両者の共通の目標です。では、その勾配 $\nabla L_\sigma(\theta)$ を、二人はどう手に入れるのか。

ES（進化・積分の顔）。中心 $\theta$ から $N$ 個の摂動 $\varepsilon_1,\dots,\varepsilon_N$ をガウスでばらまき、それぞれの評価値だけ $L(\theta+\varepsilon_i)$ を測る。微分はしない。そして「評価値を重みにした摂動の平均」をとる ── これが ES の勾配推定です。損失の値を集めて積分（平均）する、大域的な操作。

二つの推定量を並べる

ES：評価値 × 摂動の平均（微分なし・大域）

$$\hat{g}_{\mathrm{ES}}\;=\;\frac{1}{\sigma^2}\cdot\frac{1}{N}\sum_{i=1}^{N} L(\theta+\varepsilon_i)\,\varepsilon_i$$

BP：近傍での勾配の平均（微分あり・局所）

$$\hat{g}_{\mathrm{BP}}\;=\;\frac{1}{N}\sum_{i=1}^{N}\nabla L(\theta+\varepsilon_i)\quad\bigl(N\to\infty\ \text{で}\ \mathbb{E}[\nabla L(\theta+\varepsilon)]\bigr)$$

BP（学習・微分の顔）。各点で損失を微分し、勾配 $\nabla L$ を直接読む。ぼかした損失の勾配なら、近傍の勾配を平均すればよい。損失の傾きを集める、局所的な操作。

一方は値の積分、他方は傾きの微分。使う情報も、計算の哲学も違う。にもかかわらず、この二つは同じ量に収束します。その橋がStein の補題です。

02Stein の補題 ── ガウスの部分積分

鍵になるのは、ガウス分布がもつ一つの美しい等式です。ガウスノイズに「掛け算」された量の平均は、その量を「微分」した平均に化ける ── 積分（平均）と微分を橋渡しする、まさにこの回のための定理です。

Stein の補題（ガウスの部分積分）

$$\varepsilon\sim\mathcal{N}(0,\sigma^2 I),\quad \mathbb{E}\!\left[\,\varepsilon\, f(\varepsilon)\,\right]\;=\;\sigma^2\,\mathbb{E}\!\left[\,\nabla f(\varepsilon)\,\right]$$

（$f$ は十分によい ── 微分可能で、$\varepsilon$ が遠方へ行くと爆発しない ── 関数とする）

左辺は「ノイズ $\varepsilon$ と関数値 $f$ の積」の平均、右辺は「$f$ の微分」の平均。左が値の積分、右が傾きの平均。これがそのまま ES と BP の関係の骨格です。なぜこの等式が成り立つのか ── ガウス密度がもつ、たった一つの性質から一行で出ます。次節で1次元の場合を最後まで証明しましょう（多次元は各成分に同じ議論を当てるだけです）。

031次元での証明 ── 部分積分を最後まで

証明の心臓は、ガウス密度 $p(\varepsilon)$ が満たす微分方程式です。ガウスを微分すると、自分自身に $-\varepsilon/\sigma^2$ が掛かって戻ってくる ── この一点だけで、あとは部分積分が全部やってくれます。

やってみよう ── ガウスの部分積分

① ガウス密度と、その微分

$$p(\varepsilon)=\frac{1}{\sqrt{2\pi}\,\sigma}\,e^{-\varepsilon^2/(2\sigma^2)} \qquad\Longrightarrow\qquad p'(\varepsilon)=-\frac{\varepsilon}{\sigma^2}\,p(\varepsilon)$$

② よって「ε × 密度」は「密度の微分」で書き直せる

$$\varepsilon\,p(\varepsilon)\;=\;-\,\sigma^2\,p'(\varepsilon)$$

③ これを平均 $\mathbb{E}[\varepsilon f(\varepsilon)]$ に代入する

$$\mathbb{E}\!\left[\varepsilon f(\varepsilon)\right] =\int_{-\infty}^{\infty}\!\varepsilon\, f(\varepsilon)\,p(\varepsilon)\,d\varepsilon =-\,\sigma^2\!\int_{-\infty}^{\infty}\! f(\varepsilon)\,p'(\varepsilon)\,d\varepsilon$$

④ 部分積分（境界項は $p\to 0$ で消える）

$$\int f\,p'\,d\varepsilon =\underbrace{\bigl[\,f(\varepsilon)\,p(\varepsilon)\,\bigr]_{-\infty}^{\infty}}_{=\,0} -\int f'(\varepsilon)\,p(\varepsilon)\,d\varepsilon =-\int f'(\varepsilon)\,p(\varepsilon)\,d\varepsilon$$

⑤ ③に戻すと、負×負で符号がそろう

$$\mathbb{E}\!\left[\varepsilon f(\varepsilon)\right] =-\,\sigma^2\left(-\int f'(\varepsilon)\,p(\varepsilon)\,d\varepsilon\right) =\sigma^2\!\int f'(\varepsilon)\,p(\varepsilon)\,d\varepsilon =\sigma^2\,\mathbb{E}\!\left[f'(\varepsilon)\right]$$

これで $\mathbb{E}[\varepsilon f(\varepsilon)]=\sigma^2\,\mathbb{E}[f'(\varepsilon)]$ ── Stein の補題（1次元）が厳密に証明できました。近似は一切していません。ガウス密度の $p'=-(\varepsilon/\sigma^2)p$ という性質と、部分積分だけ。境界項が消えるのは、$f$ がガウスの裾より穏やかなら $f(\varepsilon)p(\varepsilon)\to 0$ だからです。

なぜ「部分積分」がここまで効くのか部分積分は「微分を、掛かっている相手に押しつける」操作です。ここでは、測りたい $f$ にかかっていた微分を、いったんガウス密度 $p$ に肩代わりさせ（③）、$p'=-(\varepsilon/\sigma^2)p$ でそれを「$\varepsilon$ を掛ける」に翻訳し、部分積分でもう一度 $f$ 側へ戻す（④⑤）。微分と「$\varepsilon$ を掛ける」が、ガウスの上では表裏一体 ── これが Stein の補題の正体であり、のちに ES（掛け算）と BP（微分）が一致する理由そのものです。

04中心の恒等式 ── ES ＝ BP ＝ ∇Lσ

準備は整いました。Stein の補題に $f(\varepsilon)=L(\theta+\varepsilon)$ を代入します。合成関数の微分から、$\varepsilon$ についての勾配は $\theta$ についての勾配に等しい ── $\nabla_\varepsilon L(\theta+\varepsilon)=\nabla_\theta L(\theta+\varepsilon)$ ── ことに注意して。

やってみよう ── 本題への適用

① Stein の補題に $f(\varepsilon)=L(\theta+\varepsilon)$ を入れる

$$\mathbb{E}\!\left[\varepsilon\,L(\theta+\varepsilon)\right]\;=\;\sigma^2\,\mathbb{E}\!\left[\nabla L(\theta+\varepsilon)\right]$$

② 両辺を $\sigma^2$ で割る

$$\frac{1}{\sigma^2}\,\mathbb{E}\!\left[L(\theta+\varepsilon)\,\varepsilon\right]\;=\;\mathbb{E}\!\left[\nabla L(\theta+\varepsilon)\right]$$

③ 平均と微分を入れ替える（$\nabla_\theta$ は $\varepsilon$ の平均の外へ出せる）

$$\mathbb{E}\!\left[\nabla_\theta L(\theta+\varepsilon)\right]\;=\;\nabla_\theta\,\mathbb{E}\!\left[L(\theta+\varepsilon)\right]\;=\;\nabla L_\sigma(\theta)$$

三つを一本につなぐと、このシリーズの背骨となる恒等式が現れます。

中心の恒等式 ── ES と BP は同じ勾配

$$\underbrace{\frac{1}{\sigma^2}\,\mathbb{E}\!\left[\,L(\theta+\varepsilon)\,\varepsilon\,\right]}_{\text{ES：値の積分・大域}} \;=\; \underbrace{\mathbb{E}\!\left[\,\nabla L(\theta+\varepsilon)\,\right]}_{\text{BP：傾きの平均・局所}} \;=\; \nabla\,\mathbb{E}\!\left[L(\theta+\varepsilon)\right] \;=\; \nabla L_\sigma(\theta)$$

左端は ES ── 微分を使わず、評価値 $L(\theta+\varepsilon)$ を摂動 $\varepsilon$ で重みづけて平均した、大域的な「積分」の量。中央は BP ── 無限個の近傍点で微分して得た勾配を平均した、局所的な「微分」の量。この二つが、厳密に等しい。しかもどちらも、平滑化損失 $L_\sigma$ の勾配 $\nabla L_\sigma$ にほかならない。

ES は、平滑化した損失の BP である。
進化と学習は、同じ勾配を計算していた。

近似ではありません。有限差分でもありません。Stein の補題という厳密な等式が、二つの世界を一本の線でつないでいる。微分しない進化と、微分する学習は、$L_\sigma$ という同じ地形の同じ勾配を、ただ違う顔で計算していただけだったのです。

05動かしてみる ── 定理が目の前で握手する

下の図は、恒等式そのものの可視化です。2次元の損失地形（等高線）の上に一点 $\theta$（赤）を置き、そこから $N$ 個のガウス摂動をばらまきます（琥珀の点）。緑の矢印は、ばらまいた点の評価値だけから左辺の式で作った ES 推定 $\hat{g}$。黒の矢印は、この地形で解析的に計算できる真の平滑化勾配 $\nabla L_\sigma$（右辺）。$N$ を上げてください ── ES の矢印が、真の勾配へ吸い寄せられるように収束します（推定のばらつきは $\propto 1/N$）。$\sigma$ を変えると、ぼかしの強さ＝真の勾配自体が変わります。

図：損失地形（負のガウス谷の和）上での中心の恒等式。緑＝ES 推定 ĝ ＝(1/Nσ²)Σ L(θ+εᵢ)εᵢ（評価値のみ・微分なし）／黒＝真の平滑化勾配 ∇Lσ（右辺・解析値）。N を上げると緑が黒へ収束する ── これがそのまま定理の証拠

集団サイズ N（摂動の本数）40 ぼかし σ（摂動の広がり）0.35

真の平滑化勾配 ∇Lσ（右辺） ES 推定 ĝ（左辺・評価値のみ）中心 θ 摂動 θ+εᵢ

$N=2$ ではどうか。緑の矢印は毎回とんでもない方向を指し、長さもでたらめです ── たった2個の評価値から勾配を当てようというのだから当然。ところが $N$ を数百に上げると、緑は黒にぴたりと重なります。評価値をかき集めて平均するだけで、微分をしていないのに、微分で得られる勾配が復元される。読み取り欄の「角度差」は $0^\circ$ へ、「大きさ比」は $1$ へ近づいていく。これが「ES は BP の不偏推定である」ということの、目に見える意味です。

06積分と微分が握手する ── 超準解析の言葉で

前回（第5回）の超準解析の言葉を使うと、この収束はもっと透明になります。集団サイズ $N$ を有限のまま大きくするのではなく、超有限な $N$（無限大の超自然数）にとってみましょう。すると ES の和は超有限和になります。

超準解析の読み ── 標準部分が勾配を復元する

$$\mathrm{st}\!\left(\frac{1}{\sigma^2}\cdot\frac{1}{N}\sum_{i=1}^{N} L(\theta+\varepsilon_i)\,\varepsilon_i\right) \;=\;\frac{1}{\sigma^2}\,\mathbb{E}\!\left[L(\theta+\varepsilon)\,\varepsilon\right] \;=\;\nabla L_\sigma(\theta)$$

無限に多くの個体からなる集団の、評価値で重みづけた平均。その標準部分 $\mathrm{st}$（無限小のゆらぎを削ぎ落とした「見える値」）が、ちょうど右辺の期待値＝真の勾配に一致します。第5回で見たとおり、集団の一人ひとりは中心 $\theta$ のモナド（無限小近傍）を埋め尽くす無限小の摂動であり、その無限小たちの合意が、標準の世界の勾配を復元する。有限の $N$ ではこの合意に $\propto 1/N$ のゆらぎ（第5回でいう無限小からのズレ）が残りますが、$N$ が超有限なら、そのズレは無限小として $\mathrm{st}$ が消し去ります。

積分と微分が、ガウスの上で握手するふつう積分（値をかき集めて平均する）と微分（一点での傾き）は、逆向きの操作です。それが Stein の補題では等号で結ばれる。左辺は「集団全体を積分した大域の量」、右辺は「一点の勾配という局所の量」。ガウスという分布の対称性が、この大域と局所を折り合わせている。進化が「集団というマクロ」で、学習が「勾配というミクロ」で、それぞれ別々に発見した同じ真実 ── それが $\nabla L_\sigma$ だったのです。

◇ ◇ ◇

07判決 ── 何が厳密で、何に注意すべきか

この一致は強力ですが、正確に何を主張しているのかは丁寧に裁く必要があります。よくある言い回しを、三つとも法廷にかけます。

主張	検討	判決
「ES は BP の有限差分近似（差分商で微分を真似ているだけ）」	違う。ES は生の $L$ を数値微分しているのではなく、平滑化損失 $L_\sigma$ の勾配の不偏推定。有限差分ではなく、Stein の恒等式による厳密な平均量である	×（棄却）
「ES と BP は、生の損失 $L$ の上で厳密に一致する」	一致するのは $\sigma$ でぼかした $L_\sigma$ の勾配であって、生の $L$ の勾配ではない。両者が一致するのは $\sigma\to 0$（かつ $L$ が滑らか）の極限のみ	要注意
「Stein の恒等式は厳密（近似ではない）」	そのとおり。可積分性と滑らかさの穏当な仮定のもとで、部分積分から導かれる完全な等式。第3節で近似を一切使わずに証明した	生存

正直な線 ── 「同じ」なのは Lσ の勾配であって、生の L ではない

恒等式 $\tfrac{1}{\sigma^2}\mathbb{E}[L(\theta+\varepsilon)\,\varepsilon]=\nabla L_\sigma(\theta)$ は、Stein の補題による厳密な等式です（可積分性・滑らかさの穏当な仮定下）。ただし、ここで ES と BP が「同じ」だと言えるのは、あくまで平滑化損失 $L_\sigma$ の勾配についてです。$\sigma$ が有限であるかぎり、$\nabla L_\sigma$ は生の損失の勾配 $\nabla L$ とはズレます ── このズレの正体と、$\sigma$ が果たす役割こそ、次回の主題です。

それでも主張は十分に強い。進化(ES)と学習(BP)は、別々の原理ではなく、同一の勾配計算がもつ二つの顔（積分と微分）だった。片方は集団の値をかき集め、片方は一点で微分する ── 道具立てはまるで違うのに、指し示す勾配は同じ。これがこのシリーズの背骨です。次回は、この $\sigma$ を「解像度／温度」として読み替え、ぼかすことで地形がなめらかになり、局所最小が埋まっていく様子を見ます。

練習問題（今回の恒等式だけで解けます）

Stein の補題で $f(\varepsilon)=\varepsilon$（1次元、$\varepsilon\sim\mathcal N(0,\sigma^2)$）とおくと、何が出るか。左辺・右辺をそれぞれ計算せよ。
答えを見る
左辺 $\mathbb{E}[\varepsilon\cdot\varepsilon]=\mathbb{E}[\varepsilon^2]=\sigma^2$。右辺 $\sigma^2\,\mathbb{E}[f'(\varepsilon)]=\sigma^2\,\mathbb{E}[1]=\sigma^2$。両辺とも $\sigma^2$ で一致し、Stein の補題が「分散は $\sigma^2$」というよく知る事実を含んでいることが分かる。
損失が二次関数 $L(\theta)=\tfrac12\|\theta\|^2$ のとき、平滑化損失の勾配 $\nabla L_\sigma(\theta)$ を求めよ。生の勾配 $\nabla L=\theta$ とどう違うか。
答えを見る
$L_\sigma(\theta)=\mathbb{E}[\tfrac12\|\theta+\varepsilon\|^2]=\tfrac12\|\theta\|^2+\tfrac12\,\mathbb{E}\|\varepsilon\|^2=\tfrac12\|\theta\|^2+\text{定数}$。定数は微分で消えるので $\nabla L_\sigma(\theta)=\theta=\nabla L(\theta)$。二次関数では平滑化しても勾配が変わらない（だから「生の $L$ と一致」に見える特別な場合）。一般の非線形な $L$ ではズレが出る ── そこが判決表の「要注意」。
ES 推定 $\hat g=\tfrac{1}{\sigma^2}\cdot\tfrac1N\sum_i L(\theta+\varepsilon_i)\varepsilon_i$ について、$N$ を4倍にすると推定の「ばらつき（標準偏差）」はおよそ何倍になるか。図で確かめられるか。
答えを見る
分散は $\propto 1/N$ なので、$N$ を4倍にすると分散は $1/4$、標準偏差はその平方根で $1/2$ 倍。図で $N$ を大きくすると緑の矢印の暴れ幅がちょうど半分ずつ縮み、黒の矢印へ収束していくのが見える。これが「不偏だが分散のある推定」の典型的な振る舞い。

第6回まとめ進化と学習は、同一の勾配の二つの顔

ES は評価値だけを積分する大域の道具、BP は勾配を微分する局所の道具（STEP 01）。両者を橋渡しするのが Stein の補題 $\mathbb{E}[\varepsilon f(\varepsilon)]=\sigma^2\mathbb{E}[\nabla f]$（STEP 02）で、これはガウス密度の $p'=-(\varepsilon/\sigma^2)p$ と部分積分だけから厳密に証明できる（STEP 03）。$f(\varepsilon)=L(\theta+\varepsilon)$ を入れて整理すると、中心の恒等式 $\tfrac1{\sigma^2}\mathbb{E}[L(\theta+\varepsilon)\varepsilon]=\mathbb{E}[\nabla L(\theta+\varepsilon)]=\nabla L_\sigma(\theta)$ ── ES＝BP＝平滑化損失の勾配（STEP 04）。図では $N$ を上げるほど ES 推定が真の勾配へ収束し（STEP 05）、超準解析では超有限和の標準部分が勾配を復元する（STEP 06）。ただし「同じ」なのは $L_\sigma$ の勾配で、生の $L$ ではない（STEP 07）。

微分しない進化と、微分する学習は、別物ではなかった。同じ地形 $L_\sigma$ の同じ勾配を、積分と微分という二つの顔で計算していただけ ── この一致が、このシリーズの心臓です。残る問いはただ一つ。では $\sigma$ とは何なのか。

次回予告 ── 第7回 ぼかせば、地形はなめらかになる。 今回、ES と BP を結んだ平滑化損失 $L_\sigma$。その $\sigma$ は単なる「ノイズの大きさ」ではありません。地形を $\sigma$ でぼかすと、細かい谷（局所最小）が埋まり、大きな流れだけが残る ── $\sigma$ は解像度であり温度です。大きな $\sigma$ で大局を掴み、小さくして細部へ降りる。局所最小という第1回以来の宿敵に、ぼかしという武器で挑みます。

この文書は「わかる学習論」シリーズ第6回、物理・数学・AIに興味のある高校生・大学生向けの読み物です。Stein の補題（$\varepsilon\sim\mathcal N(0,\sigma^2 I)$ に対し $\mathbb{E}[\varepsilon f(\varepsilon)]=\sigma^2\mathbb{E}[\nabla f(\varepsilon)]$）は C. Stein に由来する統計学の古典的等式で、本稿の1次元証明（ガウス密度の関係式 $p'=-(\varepsilon/\sigma^2)p$ と部分積分、境界項の消失）は可積分性・十分な滑らかさ・裾での減衰という穏当な仮定のもとで厳密に成り立ちます。これを $f(\varepsilon)=L(\theta+\varepsilon)$ に適用し、平均と勾配の交換（優収束など標準的な条件下で正当）を用いて得られる恒等式 $\tfrac1{\sigma^2}\mathbb{E}[L(\theta+\varepsilon)\varepsilon]=\mathbb{E}[\nabla L(\theta+\varepsilon)]=\nabla L_\sigma(\theta)$ は、進化戦略(ES)の勾配推定が平滑化損失 $L_\sigma$ の勾配の不偏推定であることを示します（Salimans らの Evolution Strategies の定式化と同じ関係）。強調すべき点として、この一致は生の損失 $L$ の勾配についてではなく、あくまで $\sigma$ 平滑化した $L_\sigma$ の勾配についてのものです。本稿の図の地形は負のガウス関数の和による説明用の模型で、ガウス平滑化が解析的に閉じる（ガウス同士の畳み込みがガウスになる）性質を使って真の $\nabla L_\sigma$ を厳密に描いています。推定量の分散が $\propto 1/N$ で減ることは独立標本の標本平均の一般的性質です。超準解析による超有限和の標準部分の解釈は第5回の枠組みに接続した読み替えです。 ── 印刷する場合はブラウザの「印刷」から「PDF に保存」を（印刷版ではスライダーと解答は静止・非表示になります）。

印刷 / PDF 化：⌘+P（Windows は Ctrl+P）。画面では「集団サイズ N」を上げると、緑の ES 推定矢印が黒の真の勾配 ∇Lσ へ収束します。「ぼかし σ」で平滑化の強さを変え、「再抽選」で摂動を引き直せます。「答えを見る」で解答が開きます。

主張	検討	判決
「ES は BP の有限差分近似（差分商で微分を真似ているだけ）」	違う。ES は生の \(L\) を数値微分しているのではなく、平滑化損失 \(L_\sigma\) の勾配の不偏推定。有限差分ではなく、Stein の恒等式による厳密な平均量である	×（棄却）
「ES と BP は、生の損失 \(L\) の上で厳密に一致する」	一致するのは \(\sigma\) でぼかした \(L_\sigma\) の勾配であって、生の \(L\) の勾配ではない。両者が一致するのは \(\sigma\to 0\)（かつ \(L\) が滑らか）の極限のみ	要注意
「Stein の恒等式は厳密（近似ではない）」	そのとおり。可積分性と滑らかさの穏当な仮定のもとで、部分積分から導かれる完全な等式。第3節で近似を一切使わずに証明した	生存

進化と学習は、同じ計算だった 微分せずに坂を下る「進化戦略(ES)」と、微分で坂を下る「誤差逆伝播(BP)」。まったく別物に見える二つが、Stein の補題というたった一本の等式で、厳密に同じ勾配だと分かる。

01二つの下り方 ── 積分と微分

02Stein の補題 ── ガウスの部分積分

031次元での証明 ── 部分積分を最後まで

04中心の恒等式 ── ES ＝ BP ＝ ∇Lσ

05動かしてみる ── 定理が目の前で握手する

06積分と微分が握手する ── 超準解析の言葉で

07判決 ── 何が厳密で、何に注意すべきか

第6回まとめ進化と学習は、同一の勾配の二つの顔

進化と学習は、同じ計算だった微分せずに坂を下る「進化戦略(ES)」と、微分で坂を下る「誤差逆伝播(BP)」。
まったく別物に見える二つが、Stein の補題というたった一本の等式で、厳密に同じ勾配だと分かる。