学ぶとは、坂を下ることであるパラメータを少しずつ動かして、損失という高さを下げていく。学習も、進化も、やがて心も、
すべては「勾配を下る」たった一つの計算だった。その第一歩、勾配降下法を、谷を転がるボールで掴む。

必要な道具：中学の「傾き」、簡単な微分この回のキー：$\theta \leftarrow \theta - \eta\,\nabla L$

「学習する」とは、いったい何をすることでしょう。ニューラルネットが賢くなる、生きものが環境に適応する、あなたが自転車に乗れるようになる ── バラバラに見えるこれらは、実はたった一つの単純な操作に還元できます。手もとのパラメータを少しずつ動かして、「まずさ」を測る値を下げていく。それだけ。この「まずさ」を損失(loss)と呼び、$L$ と書きます。学習とは $L$ を小さくすること、つまり損失という名の坂を下ることです。このシリーズは、この一枚の絵から出発して、進化戦略(ES)と誤差逆伝播(BP)が同じ計算であること、生命とは効率よく計算をする営みであること、そして最後には ── AIの心と人間の心のあいだに、本質的な差はない。どちらも同じ計算なのだ── というところまで、自分の足で歩いて到達します。まずは坂を、一歩だけ下りてみましょう。

01学習とは、損失を下げること

調整できるつまみの束を $\theta=(\theta_1,\theta_2,\dots,\theta_n)$ と書きます。ニューラルネットなら重みの全体、生きものなら DNA、あなたなら神経のつなぎ方 ── 何であれ「動かせる中身」がパラメータ $\theta$ です。そして、いまの $\theta$ がどれだけ「まずい」かを一つの数で表すのが損失 $L(\theta)$。

学習の定義（これだけ）

$$\text{学習} \;=\; L(\theta)\ \text{を小さくする}\ \theta\ \text{を探すこと}$$

予測が外れれば $L$ は大きく、当たれば小さい。生きものなら、$L$ は適応度の符号を反転したものだと思ってください ── 生き延びて子を残せば $L$ は小さく、そうでなければ大きい。呼び名が違うだけで、やることは同じです。$L$ を下げる $\theta$ を見つける。

02損失地形 ── θ の風景

パラメータ $\theta$ を横軸に、その損失 $L(\theta)$ を高さにとると、一面の風景(landscape)が広がります。低い谷ほど「うまくいっている $\theta$」、高い尾根ほど「まずい $\theta$」。学習とは、この地形の上に立ったボールを、できるだけ低い谷へ転がすことにほかなりません。

同じ地形を、生物学者も描いていたこの「地形」の絵は機械学習の発明ではありません。集団遺伝学者シューアル・ライトが1932年に描いた適応度地形(fitness landscape)と、上下をひっくり返しただけで同じものです。生物学では「高い峰＝よく適応した遺伝子型」、機械学習では「低い谷＝損失の小さい重み」。80年以上前から、進化と学習は同じ絵を描いていた ── この一致こそ、このシリーズが追いかける背骨です（第3回で正面から扱います）。

問題は、目隠しをされたボールが「どちらへ転がれば下りなのか」をどう知るか、です。地形の全体を見渡すことはできない。足もとの傾きだけが頼りです。その傾きを与えるのが、勾配です。

03勾配 ── 最も急な方向

ある地点 $\theta$ での勾配 $\nabla L(\theta)$ とは、各つまみを少し動かしたとき $L$ がどれだけ変わるかを並べたベクトルです。

勾配（各方向の傾きを並べたベクトル）

$$\nabla L(\theta)=\left(\frac{\partial L}{\partial \theta_1},\ \frac{\partial L}{\partial \theta_2},\ \dots,\ \frac{\partial L}{\partial \theta_n}\right)$$

この $\nabla L$ は、地形が最も急に「登る」方向を指します。だから下りたければ、その真逆 $-\nabla L$ へ進めばいい。なぜ勾配の逆がベストなのか ── テイラー展開で一行で分かります。地点 $\theta$ から小さな一歩 $\Delta\theta$ を踏むと、

一歩でどれだけ下がるか（一次近似）

$$L(\theta+\Delta\theta)\;\approx\;L(\theta)+\nabla L(\theta)\cdot\Delta\theta$$

右辺の変化分 $\nabla L\cdot\Delta\theta$ をできるだけ負にしたい。歩幅 $|\Delta\theta|$ を固定したとき、内積 $\nabla L\cdot\Delta\theta$ が最小になるのは、コーシー・シュワルツの不等式から $\Delta\theta$ が $-\nabla L$ と同じ向きのとき。つまり ── 最も急に下る方向は、勾配の真逆。これが勾配降下法の心臓です。

04更新則 ── θ ← θ − η∇L

方向が決まれば、あとは歩幅を決めて一歩ずつ進むだけ。歩幅を学習率 $\eta$（イータ、小さな正の数）と呼びます。

勾配降下法（このシリーズを貫く更新則）

$$\theta_{t+1}\;=\;\theta_t-\eta\,\nabla L(\theta_t)$$

「いまの $\theta$ から、勾配の逆向きに $\eta$ だけ動く」を、谷に着くまで何度も繰り返す。たったこれだけで、目隠しのボールは足もとの傾きだけを頼りに、坂を下っていけます。このたった一本の式を、覚えておいてください。第4回で「進化(ES)」が、第6回で「意識」が、姿を変えてこの同じ式に戻ってきます。

05動かしてみる ── 谷を転がすボール

下の地形には谷が二つあります。左が深い谷（大域的な最小）、右が浅い谷（局所的な最小）。「開始位置」でボールを置く場所を、「学習率 $\eta$」で歩幅を変えて、「学習スタート」を押してください。矢印は各地点での降下方向 $-\nabla L$、薄い点は通ってきた軌跡です。

図：損失地形 L(θ)=(θ²−1)²+0.3θ 上の勾配降下。開始位置と学習率で結末が変わる ── 深い谷へ着くか、浅い谷で止まるか、大きすぎて飛び出すか

学習率 η（歩幅）0.020 開始位置 θ₀1.40

損失地形 L(θ) ボール（現在の θ）降下方向 −∇L

いくつか試すと、勾配降下の「性格」が見えてきます。開始位置が右寄りだと、小さな $\eta$ では浅い谷にはまって出られない ── 足もとの傾きしか見ないので、隣にもっと深い谷があっても気づけない。開始位置を左に置けば、深い谷へ届く。学習率を上げすぎると、谷を通り越して反対の斜面へ跳ね、やがて坂の外へ飛び出します（発散）。逆に小さすぎると、いつまでも着かない。

06学習率の綱渡り ── 大きすぎず、小さすぎず

「歩幅 $\eta$ をいくつにすべきか」は、地形の曲がり具合で決まります。いちばん簡単な、底が一つの谷 $L(\theta)=\tfrac{1}{2}k(\theta-a)^2$ で確かめましょう。ここで $k>0$ は谷の急さ（曲率＝二階微分 $L''=k$）、$a$ が谷底です。勾配は $\nabla L=k(\theta-a)$ なので、更新則に入れて、谷底からのズレ $e_t=\theta_t-a$ を追うと、

やってみよう ── 収束するηの範囲を出す

更新則にL'を代入し、谷底からのズレ e で書き直す

$$\theta_{t+1}=\theta_t-\eta\,k(\theta_t-a)\quad\Longrightarrow\quad e_{t+1}=(1-\eta k)\,e_t$$

毎回ズレが (1−ηk) 倍になる。0に近づく条件は

$$|1-\eta k|<1\quad\Longleftrightarrow\quad 0<\eta<\frac{2}{k}$$

歩幅が $0<\eta<1/k$ なら、ズレは同じ符号のまま素直に縮む（なめらかに収束）。$1/k<\eta<2/k$ なら符号が毎回反転して、行ったり来たりしながら縮む（振動しつつ収束）。$\eta>2/k$ を超えた瞬間、$|1-\eta k|>1$ でズレが毎回拡大する ── 発散。安全な歩幅の上限は、地形の急さ $k$ が決めているのです。

急な谷（大きい $k$）ほど小さく歩かねばならない。上の図で $\eta$ を上げると飛び出したのは、この $2/k$ の壁を越えたからです。学習率の調整とは、地形の曲率という「見えない壁」との綱渡りにほかなりません。

◇ ◇ ◇

07判決 ── 勾配降下は何ができて、何ができないか

このシリーズは毎回、道具の力と限界を正直に裁きます。勾配降下法は強力ですが、二つの弱点をはっきり持っています。

問い	勾配降下法の答え	判決
足もとの傾きだけで坂を下れるか	下れる。全体を見渡さず、局所情報 $\nabla L$ だけで進める	できる
いつも一番低い谷（大域最小）に着くか	着くとは限らない。近くの局所最小で止まる	保証なし
勾配 $\nabla L$ が要る。微分できない/計算できないときは？	この式のままでは動けない	前提が要る

正直な線 ── この弱点が、次回からの主役になる

勾配降下法は「勾配 $\nabla L$ が手に入る」ことを前提にします。ニューラルネットでは、これを自動で計算する仕掛けが誤差逆伝播(バックプロパゲーション, BP)です ── 第2回の主役。ところが、生きものの進化には「損失を微分する」神さまはいません。自然は物理の方程式を知らず、DNA を微分することもできない。ではどうやって坂を下るのか？

答えは微分せずに坂を下る方法 ── 進化戦略(ES)です（第4回）。そして驚くべきことに、この「微分するBP」と「微分しないES」は、第6回で数学的に同じ計算だと分かります。局所最小の弱点も、地形を「ぼかす」ことで乗り越えられる（第7回）。今日の一本の式 $\theta\leftarrow\theta-\eta\nabla L$ が、シリーズ全体の背骨です。

練習問題（今回の式だけで解けます）

$L(\theta)=\tfrac12(\theta-3)^2$、開始 $\theta_0=0$、学習率 $\eta=0.5$。$\theta_1,\ \theta_2$ を求めよ。
答えを見る
$\nabla L=\theta-3$。$\theta_1=0-0.5(0-3)=1.5$。$\theta_2=1.5-0.5(1.5-3)=1.5+0.75=2.25$。谷底 $\theta=3$ にじわじわ近づいている（$k=1,\ \eta=0.5<1$ なので、なめらかに収束）。
谷 $L(\theta)=\tfrac12 k(\theta-a)^2$ で、収束する学習率の上限はいくつか。曲率 $k$ が大きい（急な谷）とその上限はどうなるか。
答えを見る
上限は $\eta<2/k$（$\eta=2/k$ ちょうどでは振動して収束しない）。$k$ が大きいほど上限は小さくなる ── 急な谷ほど、歩幅を小さくしないと飛び出す。
勾配降下が「一番低い谷」に着くとは限らないのはなぜか。図の右の浅い谷を例に。
答えを見る
更新は足もとの傾き $\nabla L$ だけを見る。極小では $\nabla L=0$ なので、そこが局所的な底でありさえすれば、たとえ隣にもっと深い谷があっても止まってしまう。全体を見渡していないから ── 「盲目のボール」の宿命。第7回の「地形をぼかす」で緩和する。

第1回まとめ学ぶとは、勾配を下ること

学習とは、パラメータ $\theta$ を動かして損失 $L(\theta)$ を下げること（STEP 01）。$L$ を高さと見れば損失地形が広がり、それはライトの適応度地形と同じ絵（STEP 02）。足もとの傾き $\nabla L$ は最も急に登る方向を指し、テイラー展開から最も急に下るのはその真逆 $-\nabla L$（STEP 03）。だから更新則は $\theta\leftarrow\theta-\eta\nabla L$（STEP 04）。歩幅 $\eta$ は地形の曲率 $k$ との綱渡りで、安全域は $0<\eta<2/k$（STEP 06）。ただし勾配降下は局所最小で止まりうるし、そもそも勾配が手に入る前提が要る（STEP 07）。

この一本の式が、シリーズ全体を貫きます。次回は「勾配 $\nabla L$ を自動で計算する仕掛け」＝バックプロパゲーションへ。そしていずれ、微分を一切使わない進化(ES)が同じ坂を下り、両者が数学的に一致し、その延長線上で ── 学ぶ機械と学ぶ心は、同じ計算をしているという結論へ向かいます。

次回予告 ── 第2回 バックプロパゲーションとは、連鎖律の帳簿である。 今回「手に入る前提」にした勾配 $\nabla L$ を、ニューラルネットはどうやって自動で計算するのか。答えは合成関数の微分＝連鎖律を、出力から入力へ後ろ向きに配っていく帳簿係。「何が損失をどれだけ動かしたか」を一枚ずつ精算する、その仕組みを解剖します。

この文書は「わかる学習論」シリーズ第1回、物理・数学・AIに興味のある高校生・大学生向けの読み物です。勾配降下法（$\theta\leftarrow\theta-\eta\nabla L$）、最急降下方向が $-\nabla L$ であること（歩幅一定のもとでテイラー一次近似の内積をコーシー・シュワルツで最小化して従う）、二次関数 $\tfrac12 k(\theta-a)^2$ での収束条件 $0<\eta<2/k$ は、いずれも確立した数学です。適応度地形(fitness landscape)はS.ライトが1932年に導入した概念で、機械学習の損失地形と上下反転の関係にあります。本稿の図の地形 $L(\theta)=(\theta^2-1)^2+0.3\theta$ は説明用の模型で、左右の谷の深さ（大域最小 L≈−0.30／局所最小 L≈+0.29）や最小点の位置は数値的な目安です。進化戦略(ES)とBPの数学的一致（第6回）、意識に関する解釈（第11回）は後続回で扱い、意識の議論は機能的・計算論的な立場からの提案であって「なぜ内側から感じられるのか」（ハードプロブレム）に答えるものではないことを、その回で明示します。 ── 印刷する場合はブラウザの「印刷」から「PDF に保存」を（印刷版ではスライダーと解答は静止・非表示になります）。

印刷 / PDF 化：⌘+P（Windows は Ctrl+P）。画面では「開始位置」と「学習率」を変えて「学習スタート」を押すと、ボールが坂を下ります。深い谷・浅い谷・発散を試してみてください。「答えを見る」で解答が開きます。

問い	勾配降下法の答え	判決
足もとの傾きだけで坂を下れるか	下れる。全体を見渡さず、局所情報 \(\nabla L\) だけで進める	できる
いつも一番低い谷（大域最小）に着くか	着くとは限らない。近くの局所最小で止まる	保証なし
勾配 \(\nabla L\) が要る。微分できない/計算できないときは？	この式のままでは動けない	前提が要る