#情報理論
-
対話の軌跡を開いておく — AIが知識をならした後、何が希少になるか
普遍的知識がAIに集約され誰もが取り出せるようになった今、希少なのは「何を選び取ったか」、 さらにその「選択の理由と軌跡」だ。加えて、みんながAIと話しすぎて各自の思想を私的に増幅した結果、 初対面での相互理解が難しくなった。その対抗策として、自分の思考の軌跡を開いておく。 差し出して回るのではなく、興味を持って訪ねてきた人が読んで受け取れるように。 自分用のサマリーと、他者向けの生に近い対話ログをセットで残す。
-
圧縮しきったデータは、ノイズと区別がつかない — 情報量とは何か
3Blue1Brown の動画でエントロピーの話を見て、後半の主張が面白かった—— 十分に圧縮されエンコードされたデータは、ランダムノイズと区別がつかない 。 そこから情報量・エントロピーの概念を導いていた。これを解説してほしい、という対話。 返ってきた整理はこうだった。圧縮の本質は 冗長性の除去 であり、冗長性とは要するに 予測可能性 だ。 「直前までを見れば次のビットがそこそこ当てられる」なら、その当てられる分は書かなくてよい。 当てられるということは、そこに情報が乗っていないから。だから圧縮とは「予測できる部分を全部差し引く」 作業であり、 削りきった後には、もはや予測できる構造が一つも残っていない 。 「直前から次が当てられない」——これはランダムノイズの統計的な定義そのもの。 だから「圧縮しきったデータ＝ノイズ」は比喩ではなく、 論理的にそうならざるを得ない 。 これを逆から読むと定義になる。データに構造があれば、それは予測可能性であり、必ず圧縮できる。 したがって 「これ以上圧縮できない＝構造が残っていない＝ノイズに見える」 。対偶を取れば 「ノイズに見えない＝まだ圧縮できる」。つまり あるデータの本当の情報量とは、それを圧縮しきったときの 最短の長さ である——これがシャノンの源符号化定理の直感的な中身だった。 最後に、一つ効く区別があった。 「ランダムに見える」と「ランダムである」は違う 。 圧縮ファイルは統計的には乱数と区別できないが、デコーダを通せば元のデータが決定論的に復元される。 表面上どんなパターンも見えないほど密に詰まっているだけで、情報はすべてそこに入っている。 「ランダムに見える」ことと「意味を持つ」ことは両立する。
-
知識の時代から選択の時代へ — このブログの起点になった問い
普遍的知識がAIに集約され誰もが取り出せるようになったとき、希少なのは「何を選び取ったか」ではないか、 という問いから始まった対話。生成がタダになった世界で値打ちを持つのは弁別器（discriminator）の方だ、 という応答を得た。ただし「私が選んだ」という事実だけでは、皆が同じモデルに均されるなら情報量は小さい。 本当に希少なのは、単一の選択ではなく、時間で積分した一貫した視点——多数の選択の上に浮かび上がる見方。 このブログ企画そのものの種が蒔かれた記録。