わかる繰り込み番外編 ② / 観測者とは粗視化装置である

「なぜ宇宙は粗視化できるのか」への三つ目の答え ── できない宇宙には、問いを立てる者がいないから

観測者とは粗視化装置である 記憶も、学習も、予測も、情報を捨てる操作なしには成立しない。
だとすれば「粗視化できる」は物理法則というより、
物理法則を書くという行為の成立条件なのかもしれない。

必要な道具:第1回の粗視化、第5回のカオス、ビットの気分 この回の芯:観測者 = 捨てた変数だけで未来を当てる装置

シリーズを通して「宇宙は粗視化できる」と言ってきました。最後に残るのは、なぜという問いです。候補は三つあって、①「繰り込み群がそういう構造だから」(説明になっていない ── なぜ場の理論なのかが残る)、②「私たちがプランクスケールから 19 桁も下にいるから」(それ自体が第6回の階層問題)。そして三つ目 ── 粗視化できない宇宙には、そもそも観測者が存在できないから。これは一見ただの循環論法ですが、情報理論の言葉に翻訳すると、意外に中身があります。記憶とは圧縮であり、予測とは捨てた変数から未来を当てることであり、学習とは何を捨ててよいかを見つけることだ。どれも粗視化そのものです。観測者とは、粗視化装置の別名なのです。

01記憶とは、捨てることである

あなたは今朝の通学路の風景を、全ピクセル覚えてはいません。覚えているのは「いつもどおりだった」という一行です。これは記憶の失敗ではなく、記憶の仕様です ── 全部覚えたら、次に使うときに検索できない。

そして情報を捨てるという操作には、物理的なコストがあります。

ランダウアーの原理 ── 忘れるには、エネルギーが要る

1 ビットの情報を消去するには、最低でも

$$E_{\min}=k_BT\ln 2\ \approx\ 2.9\times10^{-21}\ \mathrm{J}\quad(\text{室温 }300\,\mathrm{K})$$

のエネルギーを熱として捨てる必要があります。計算そのものは原理的にタダにできるのに、忘れることにだけは必ず代価が要る。2012 年に実際の実験で確認されました。つまり粗視化は物理過程です ── 抽象的な「見方の問題」ではなく、エネルギーを消費し、エントロピーを環境に吐き出す実在の動作。第1回で「捨てた情報の量=エントロピー」と書きましたが、それは比喩ではなかったわけです。

02予測に要るのは、ごく一部のビットだけ

観測者の本業は予測です。ここで決定的な非対称があります ── 過去に含まれる情報の量と、そのうち未来の予測に役立つ量は、まったく違う。

コップの水の例(第1回)なら、過去のミクロ状態は \(10^{25}\) 個の数字ぶんの情報を持っていますが、明日の沸騰時刻を当てるのに要るのは温度と圧力の 2 つだけ。残りは、覚えても一円の得にもならない情報です。この「未来の予測に役立つ部分」を予測情報といい、賢い観測者はこれだけを保持し、残りを捨てます

この番外編の芯 ── 最適な粗視化は、一意に決まる

第1回の「正直な線」で、こう書きました ──「どの変数を残すかは、問いに応じて人間が選ぶ面がある」。じつはこれには、きれいな答えがあります。

「未来の予測に関して同じ振る舞いをする過去は、まとめてしまってよい」── この基準で過去をグループ分けすると、予測に必要十分な最小の状態集合が一意に決まります(計算力学の因果状態、クラッチフィールド)。つまり最適な粗視化は、人間の趣味ではなく世界の側が決めている。第4回で臨界指数が「粗視化という操作に属していた」のと同じ構図です。観測者に許された自由は、その最適粗視化を見つけるかどうかだけ ── そして、それを見つける作業のことを、私たちは学習と呼んでいます。

03動かしてみる ── 1 ビットが何ステップ買えるか

下の図は、記憶容量 \(b\) ビットしか持たない観測者が、世界をどれだけ先まで当てられるかを比べたものです。ボタンで二つの世界を切り替えられます。

この違いが、観測者が存在できるかどうかを分けます。層のある世界では、有限で小さな脳が、無限の未来を語れる。カオスだけの世界では、どれだけ脳を大きくしても、その大きさに比例した長さしか見通せない ── 科学も、記憶も、意味を持ちません。

図:上=世界の真の振る舞い(細線)と、b ビットしか覚えていない観測者の予測(太線)。下=記憶ビット数 b と「当たり続けるステップ数」の関係。層のある世界では数ビットで飽和、カオスな世界では 1 ビット=1 ステップの線形交換
世界の真の振る舞い 観測者の予測(b ビットから) 予測が当たっている範囲

04学習とは、何を捨ててよいかを見つけること

ここから、意外な場所に橋がかかります。深層学習のネットワークは、入力に近い層で細かい特徴(エッジ、線)を、出力に近い層で粗い概念(顔、猫)を扱います。層を通るたびに情報が捨てられ、残るのは「答えに効くもの」だけ ── これは繰り込み群と同じ形をしています

実際、この類似は物理と機械学習の両側から真剣に議論されてきました(厳密な等号が示されたわけではありません ── 後述)。しかし少なくとも次のことは確かです:うまく学習するとは、うまく粗視化することだ。捨てすぎれば情報が足りず、捨てなさすぎれば過学習して丸暗記になる。ちょうどよい粗視化を見つけた者だけが、見たことのないデータを当てられる。

「わかる学習論」と握手する 姉妹編「わかる学習論」は、進化・学習・意識をひとつの勾配で読むシリーズでした。この番外編の視点を重ねると、こう言えます ── 進化も学習も、「環境のどの特徴を捨ててよいか」を長い時間かけて探す過程である。目が光の位相を捨てて強度だけを取るのも、脳が網膜の \(10^{8}\) 個の信号を数十の概念に潰すのも、同じ操作です。生き物とは、環境に対する最適な粗視化を体に刻んだもの。だとすれば繰り込み群は、物理の道具であると同時に、生命が何をしているかの記述でもあります。

05循環ではないのか

「粗視化できない宇宙には観測者がいない」は、たしかに人間原理の一種で、循環に聞こえます。でも、次のように読むと中身が残ります。

言い換え ── 物理法則ではなく、法則を書くことの成立条件

「宇宙は粗視化できる」は、宇宙についての事実であると同時に、「宇宙について有限の記述が書ける」ということそのものです。法則とは圧縮された記述であり、圧縮できるとは粗視化できるということ。だから ──

粗視化できない宇宙には、法則が書けない。
そして法則が書けない宇宙には、それを書く者もいない。

これは「なぜそうなのか」の答えにはなっていません。でも、問いの種類を変えてはくれます。「粗視化可能性」は物理法則のリストに載る一項目ではなく、リストが存在できるための前提だ、ということです。

そしてここで、第2回の中性子に戻れます。「崩壊時間とは、位相が追えなくなる時間ではないか」── その直感は、位相が追えなくなること自体が世界の構造として組み込まれていることに触れていました。世界は、追えなくなるようにできている。そして追えなくなるからこそ、有限の私たちが有限の言葉で世界を語れる。不完全さは、バグではなく仕様です

◇ ◇ ◇
正直な線 ── ここは物理と哲学の境界です

確立していること:ランダウアーの原理(1 ビットの消去に \(k_BT\ln2\) 以上の散逸が必要)とその実験的検証(2012年)、可逆計算では計算自体にエネルギー下限がなく消去にのみコストがかかること、予測情報が過去の全情報より一般にはるかに小さいこと、計算力学における因果状態が「未来の予測に必要十分な最小の状態集合」として一意に定まること(クラッチフィールド)、カオス系で予測可能な時間が記憶精度のビット数に線形(=精度の対数)でしか伸びないこと(第5回)は、いずれも確立した結果です。

確立していないこと:深層学習と繰り込み群の対応は、示唆的な類似であって定理ではありません。制限ボルツマンマシンと変分繰り込み群を対応づける提案(2014年ごろ)などがありますが、一般の深層ネットワークが繰り込み群と等価だという主張には有力な反論もあり、決着していません。本文はあくまで「同じ形をしている」という比喩の範囲です。② 人間原理的な説明(③の立場)は、検証可能な予言をほとんど持たず、説明として認めるかどうかで研究者の意見が分かれます。③ 「観測者とは粗視化装置である」は本シリーズの整理であって、確立した定義ではありません。④ 図は「1 ビットが何ステップ買えるか」を体感するための理想化された模型(ロジスティック写像と、マクロ+ノイズの人工信号)で、実在の脳や学習器の性能を表すものではありません。 ── この回は物理から一歩踏み出した考察であり、本編(第1〜7回)とは確からしさの水準が違うことを、はっきりお断りしておきます。

練習問題
  1. 「記憶とは捨てることである」を、物理のコストの面から説明せよ。
    答えを見る
    計算自体は原理的に可逆でエネルギー下限がないが、情報の消去には \(k_BT\ln2\)(室温で \(2.9\times10^{-21}\) J)以上の散逸が必要(ランダウアーの原理、2012年に実験確認)。つまり「捨てる」は抽象的な見方の問題ではなく、エネルギーを使う物理過程。
  2. 「どの変数を残すかは人間が選ぶ」という第1回の但し書きに、この回はどう答えたか。
    答えを見る
    「未来の予測に関して同じ振る舞いをする過去はまとめてよい」という基準で、予測に必要十分な最小の状態集合が一意に決まる(計算力学の因果状態)。最適な粗視化は世界の側が決めていて、観測者の自由はそれを見つけるかどうかだけ。その作業が学習。
  3. 層のある世界とカオスな世界で、記憶 1 ビットの価値はどう違うか。
    答えを見る
    層のある世界では、数ビットでマクロ変数を押さえれば無限の未来まで当たり、追加ビットはほぼ無価値(残りはノイズで元から予測不能)。カオスな世界では 1 ビット=1 ステップの線形交換で、脳を大きくしても比例分しか見通せない。前者でだけ、有限の観測者が科学を持てる。
  4. 「粗視化できない宇宙には観測者がいない」は、なぜ単なる循環論法で終わらないのか。
    答えを見る
    法則とは圧縮された記述であり、圧縮できることと粗視化できることは同じ。だから「粗視化可能性」は物理法則リストの一項目ではなく、リストが存在できるための前提になる。答えにはなっていないが、問いの種類が変わる。

番外編②まとめ捨てられる世界にだけ、それを語る者がいる

記憶は圧縮であり、予測は捨てた変数から未来を当てることであり、学習は何を捨ててよいかを見つけること。どれも粗視化そのものです。しかも捨てる操作には物理的な代価があり(ランダウアー:1 ビットに \(k_BT\ln2\))、最適な粗視化は人間の趣味ではなく世界の側が一意に決めている(因果状態)。第4回で臨界指数が「粗視化という操作に属していた」のと、同じ構図です。

そして決定的なのは、記憶 1 ビットの価値が世界によって違うこと。層のある世界では数ビットで無限の未来が買え、カオスだけの世界では 1 ビットで 1 ステップしか買えない。前者でだけ、有限の脳が科学を持てます。だから「なぜ宇宙は粗視化できるのか」への三つ目の答えは ── できない宇宙には、問う者がいないから。循環に見えますが、「粗視化可能性は物理法則の一項目ではなく、法則が書けるための前提だ」と読み替えると、問いの種類が変わります。

シリーズの出発点は、中性子の寿命 880 秒を「位相が追えなくなる時間ではないか」と読み直すことでした。本編 7 回と二つの番外編をかけてたどり着いたのは、こういう場所です ── 世界は、追えなくなるようにできている。そして追えなくなるからこそ、有限の私たちが有限の言葉で世界を語れる。不完全さは、バグではなく仕様です。

この文書は「わかる繰り込み」シリーズ番外編②、物理好きの高校生・大学生向け読み物です。ランダウアーの原理(1 ビット消去あたり \(k_BT\ln2\) 以上の散逸)とその実験的検証(Bérut ら 2012)、可逆計算の理論(ベネット)、予測情報が過去の全情報より一般にはるかに小さいこと、計算力学における因果状態が予測に必要十分な最小状態集合として一意に定まること(クラッチフィールド)、およびカオス系での予測可能時間が記憶ビット数に線形でしか伸びないことは、いずれも確立した結果です。深層学習と繰り込み群の対応が示唆的な類似にとどまり定理ではないこと(有力な反論があること)、人間原理的説明の位置づけが研究者間で分かれること、「観測者とは粗視化装置である」が本シリーズの整理であって確立した定義ではないこと、そしてこの回が本編より確からしさの水準が低い考察であることは、本文「正直な線」に明記しました。図はロジスティック写像と人工信号による理想化された実演で、実在の脳や学習器の性能を表すものではありません。 ── 印刷する場合はブラウザの「印刷」から「PDF に保存」を(印刷版ではスライダーと解答は静止・非表示になります)。関連:番外編① なぜ低エントロピーから始まったのか第7回 解像度という次元目次/姉妹編 わかる学習論わかるブラックホール

印刷 / PDF 化:⌘+P(Windows は Ctrl+P)。画面ではスライダーで記憶ビット数を変え、ボタンで二つの世界を切り替えられます。「1 ビットが何ステップ買えるか」が世界によって全然違うのが見どころです。「答えを見る」で解答が開きます。