#圧縮
-
圧縮しきったデータは、ノイズと区別がつかない — 情報量とは何か
3Blue1Brown の動画でエントロピーの話を見て、後半の主張が面白かった—— **十分に圧縮されエンコードされたデータは、ランダムノイズと区別がつかない**。 そこから情報量・エントロピーの概念を導いていた。これを解説してほしい、という対話。 返ってきた整理はこうだった。圧縮の本質は**冗長性の除去**であり、冗長性とは要するに**予測可能性**だ。 「直前までを見れば次のビットがそこそこ当てられる」なら、その当てられる分は書かなくてよい。 当てられるということは、そこに情報が乗っていないから。だから圧縮とは「予測できる部分を全部差し引く」 作業であり、**削りきった後には、もはや予測できる構造が一つも残っていない**。 「直前から次が当てられない」——これはランダムノイズの統計的な定義そのもの。 だから「圧縮しきったデータ＝ノイズ」は比喩ではなく、**論理的にそうならざるを得ない**。 これを逆から読むと定義になる。データに構造があれば、それは予測可能性であり、必ず圧縮できる。 したがって**「これ以上圧縮できない＝構造が残っていない＝ノイズに見える」**。対偶を取れば 「ノイズに見えない＝まだ圧縮できる」。つまり**あるデータの本当の情報量とは、それを圧縮しきったときの 最短の長さ**である——これがシャノンの源符号化定理の直感的な中身だった。 最後に、一つ効く区別があった。**「ランダムに見える」と「ランダムである」は違う**。 圧縮ファイルは統計的には乱数と区別できないが、デコーダを通せば元のデータが決定論的に復元される。 表面上どんなパターンも見えないほど密に詰まっているだけで、情報はすべてそこに入っている。 **「ランダムに見える」ことと「意味を持つ」ことは両立する。**