第1回で「どの変数を残すかは人間が選ぶ面がある」と書いた宿題を、情報理論で回収する
第1回の「正直な線」で、こう書きました ──「どの変数を残すかは物理法則が自動で決めてくれるわけではなく、問いに応じて人間が選ぶ面がある」。この番外編は、その宿題の回収です。じつは情報理論には、捨てることについての定理と公式が一式そろっています。「処理しても情報は増えない」はデータ処理不等式という定理で、これが irrelevant が二度と戻らないことの情報版。「許容誤差を決めれば必要ビット数が決まる」はレート歪み理論で、番外編②で描いたあの曲線の正体。そして「問いを固定すれば最適な粗視化は一意」は情報ボトルネック。最後に、いちばん硬い証拠を置きます ── 情報理論の不等式が、繰り込み群の定理を実際に証明してしまったという話です。
まず土台の定理から。\(X\)（ミクロ）を粗視化して \(Y\) を作り、それをさらに粗視化して \(Z\) を作る ── この鎖を \(X\to Y\to Z\) と書きます。
\(I\) は相互情報量（共有している情報の量）。加工したあとのものから、加工前より多くを知ることは絶対にできない。当たり前に見えますが、これは定理です。そして繰り込み群は粗視化の連鎖そのものなので、ミクロについての情報はステップごとに単調に減ることが保証されます。第4回で「irrelevant 方向は縮んで消える」と言いましたが、その「二度と戻らない」を保証しているのがこの不等式です。
逆に言えば、粗視化に「うまい／へた」があるのは、減り方に差があるからです。同じだけビットを捨てても、答えに効く情報をどれだけ残せるかは選び方しだい。では最適な捨て方は何か ── ここから先が本題です。
シャノンは、圧縮に二つの理論を作りました。ひとつは「1 ビットも失わない圧縮」（可逆圧縮）。もうひとつが、失うことを前提にした圧縮です。
許容誤差 \(D\) を決めると、必要なビット数 \(R\) の下限が原理的に決まる。これ以下では絶対に無理、という壁です。番外編②で描いた「b ビットが何ステップの未来を買えるか」の曲線は、まさにこの \(R(D)\) でした。
ガウス的な源については、\(R(D)\) が手で計算できます。分散 \(\sigma^2\) の成分がたくさんあるとき、答えは驚くほど直感的な形をしています ── 水位を一本引くだけ。
独立な成分の分散を \(\sigma_1^2,\sigma_2^2,\dots\) とする。ある水位 \(\theta\) を決めて：
$$D=\sum_i \min(\theta,\sigma_i^2),\qquad R=\sum_i \max\!\left(0,\ \tfrac12\log_2\frac{\sigma_i^2}{\theta}\right)$$つまり ── 水位より小さい成分（\(\sigma_i^2<\theta\)）はまるごと捨てる（ビットを 1 つも割かない）。水位より大きい成分だけを、はみ出した分だけ記録する。
第4回の言葉に翻訳すると、これは驚くほどそのままです ── 水位 \(\theta\) が relevant と irrelevant を分ける閾値。繰り込み群では「スケールを変えると小さい成分が勝手に消える」でしたが、情報理論では「最適に圧縮すると小さい成分は勝手に捨てられる」。同じ操作を、物理側と情報側から書いているだけです。
ここで、シリーズ全体でずっと曖昧にしてきた言葉に、はじめて定量的な意味を与えられます。「世界に層がある」とは、いったいどういう状態か。
レート歪み曲線 \(R(D)\) を描いたとき ──
| 曲線の形 | 意味 | |
|---|---|---|
| 層のある世界 | 急落したあとプラトー（膝）ができる | 「ここまで潰せば十分」という自然な停止点が存在する ＝ 記述のレベルが決まる |
| 層のない世界 | なめらかで膝がない | どこで止めても同じだけ損をする ＝ 自然な記述レベルが存在しない |
膝の位置が、その世界の「階」の高さです。 温度と圧力で止まってよいのは、そこに膝があるから。膝がなければ、どこまで粗視化しても損が比例して増えるだけで、「この階で話が閉じる」ということが起きません。
下の図の左は、源を構成する 16 個の成分の分散（棒）と水位 \(\theta\)（横線）。右がそのときのレート歪み曲線と、いまいる場所です。
スライダーで水位を上げ下げしてください。水位より下に沈んだ成分は捨てられ（灰色）、上に出ている成分だけにビットが割かれます。そしてボタンで源を切り替えると ──
この図で、第4回・第6回の言葉が全部つながります ── 水位より上＝relevant、下＝irrelevant、膝＝層、膝がない＝粗視化が破れている（第5回のカオスや乱流は、まさに膝のない世界です）。
ただし、上の話には抜けがあります。「誤差」をどう測るか、まだ人間が決めています。何のために圧縮するのかを指定しないと、最適な捨て方は決まらない。
そこで、問い自体を式に入れてしまいます。
\(X\) が生データ、\(T\) が粗視化した表現、\(Y\) が知りたいこと。「\(Y\) についての情報は保ったまま、\(X\) を最大限つぶせ」という要求をそのまま最適化問題にしたものです（Tishby–Pereira–Bialek 1999）。\(\beta\) が「どれだけ欲張るか」のつまみ。
第1回の宿題への答えはこうなります ── 「どの変数を残すか」は人間の趣味では決まらない。〈何を知りたいか（\(Y\)）〉さえ指定すれば、あとは一意に決まる。 番外編②で挙げた「因果状態」は、\(Y=\)「未来」と置いた特別な場合です。
そして \(Y\) を何にするかは、物理では自然に決まります ── マクロに測れる量、あるいは十分あとの未来。だから温度と圧力が出てくる。粗視化は恣意的ではなく、問いを固定した瞬間に世界の側が決める。
「情報理論と繰り込み群は似ている」ではなく、片方がもう片方を証明したという事例があります。この回でいちばん硬い話です。
ザモロチコフは 1986 年、2 次元の場の理論について、繰り込み群の流れに沿って単調に減少する量 \(c\) が存在することを示しました（c 定理）。\(c\) はおおまかに「その理論が持つ自由度の数」。つまり UV（細かい）から IR（粗い）へ流れると、自由度は必ず減る ── 第4回の「捨てたものは戻らない」の、場の理論版の厳密形です。
ここからが本題です。カシーニとウエルタは 2004 年、この c 定理を まったく別のところから証明しました ── エンタングルメント・エントロピーの「強劣加法性」という、純粋に情報理論的な不等式から。さらに 3 次元の F 定理、そして 4 次元の a 定理についても、同じ路線での証明が与えられています。
情報理論の不等式（強劣加法性）
↓
繰り込み群の単調性定理（c 定理・F 定理・a 定理）
「似ている」「対応がつく」ではありません。情報についての不等式を出発点にして、物理の定理が導かれた。データ処理不等式が「粗視化で情報は減る」を言うのと、c 定理が「繰り込みで自由度は減る」を言うのは、同じ一つの単調性だった ── そういう構図です。
最後に、番外編②の締めの一文に形式を与えておきます。
データを説明するとき、「モデルを書き下すのに要するビット数」＋「モデルからのずれを書くのに要するビット数」の合計を最小にするモデルを選べ、という原理（リサネン）。単純すぎるモデルは第2項が膨らみ、複雑すぎるモデルは第1項が膨らむ。オッカムの剃刀が、ビットの勘定になります。
ケプラーの法則とは、火星の観測表という膨大な数字の列を「楕円」というごく短い記述に圧縮したもの ── 法則とは圧縮であり、圧縮できることと粗視化できることは同じ。番外編②で「粗視化できない宇宙には法則が書けない」と書いたのは、この意味です。
確立していること：データ処理不等式；レート歪み理論と、独立ガウス源＋二乗誤差に対する逆注水法の厳密解（シャノン、バーガー）；情報ボトルネック法の定式化（Tishby–Pereira–Bialek 1999）とその最適性条件；計算力学の因果状態が予測に対する最小十分表現であること；ザモロチコフの c 定理（1986）；カシーニ–ウエルタによるエンタングルメント・エントロピーの強劣加法性からの c 定理の証明（2004）および 3 次元 F 定理の証明（2012）、さらに 4 次元 a 定理の同路線の証明；最小記述長原理（リサネン）── いずれも確立した結果です。
本シリーズの言い方であって定理ではないもの：① 「層があるとは R–D 曲線に膝があること」は、この連載の定式化です。示唆的で有用だと思いますが、標準的な定義ではありません（「膝」に一意な数学的定義があるわけでもありません）。② 情報ボトルネックには既知の弱点があります ── 決定的な写像に対しては退化する、\(\beta\) の選び方が残る、深層学習への適用（Tishby らの「圧縮フェーズ」説）は再現性を巡って議論が続いている、など。「問いを決めれば一意」は、\(Y\) と誤差の測り方を固定したうえでの主張です。③ カシーニ–ウエルタの証明は場の理論の標準的仮定（ローレンツ不変性、ユニタリ性など）のもとでのものです。④ コルモゴロフ複雑性は計算不可能で、MDL はその実用的な代用です。⑤ 図は独立ガウス源という理想化で、実在の物理系のスペクトルではありません。
「粗視化すると情報は減る」はデータ処理不等式という定理で、irrelevant が二度と戻らないことを保証します。「どこまで潰してよいか」にはレート歪み関数 \(R(D)\) という下限があり、独立ガウス源では逆注水法で厳密に解ける ── 水位 \(\theta\) より小さい成分はまるごと捨て、大きい成分だけ記録する。この水位が、そのまま第4回の relevant / irrelevant の閾値です。
そしてこの回の芯 ── 層があるとは、レート歪み曲線に膝があること。膝の位置が「この階で止めてよい」という自然な停止点で、膝のない世界（第5回のカオスや乱流）には自然な記述レベルが生まれません。第1回の宿題「どの変数を残すかは人間が選ぶ」には、情報ボトルネックが答えます ── 何を知りたいかを指定すれば、粗視化は一意。人間に残された自由は問いの選択だけ。
いちばん硬い証拠はこれです。カシーニとウエルタは、エンタングルメント・エントロピーの強劣加法性という純粋な情報不等式から、繰り込み群の c 定理を証明しました。「粗視化で情報は減る」と「繰り込みで自由度は減る」は、同じ一つの単調性だったのです。
印刷 / PDF 化：⌘+P（Windows は Ctrl+P）。画面ではスライダーで水位を動かすと、捨てる成分と必要ビット数が変わります。ボタンで源を切り替えると、膝があるかないかが比べられます。「答えを見る」で解答が開きます。