曲面は元の空間に既にある — 多様体仮説と、非線形変換が果たす役割

問い — 多様体仮説とは、別基底での多様体を指すのか

生成aiの文脈における多様体仮説について解説してください。正解のデータが、高次元のデータ空間の中の特定の平面上に存在する、とかいった単純な話ではなく、高次元データ空間を適切に射影、変換してえられる別基底での多様体をさすでしょうか。

結論から言うと、「平面ではない」という直感は正しいのですが、「別基底で見れば多様体」という言い方には一点だけ修正を入れたいです。問題はその「基底変換」が線形か非線形かというところにあります。

なぜ「平面」ではないのか

多様体仮説が主張しているのは、画像・音声・テキスト埋め込みのような高次元データ $x \in \mathbb{R}^D$ が、その $D$ 次元空間を一様に埋め尽くすのではなく、はるかに低次元 $d \ll D$ の滑らかな部分多様体 $\mathcal{M} \subset \mathbb{R}^D$ の近傍に集中している、という点です。

ここで「平面（線形部分空間）」というのは、曲率ゼロ・大域的に一枚のチャートで覆える、多様体の最も退化した特殊ケースにすぎません。現実のデータ多様体は曲がっています。たとえば「ある物体を回転させた画像の集合」を考えると、回転はピクセル空間では強い非線形操作なので、得られる軌跡は曲がった部分多様体になります。顔画像をポーズ・照明・表情で動かした集合なども同様です。PCA はこの曲面に対する「最良の線形近似平面」を返すだけで、曲がりそのものは捉えられません。

「別基底」という表現の修正点

ここが核心です。射影や基底変換という語は通常線形写像を指します。しかし線形写像（行列）は、回転・スケール・せん断はできても、曲がったものを平らに「伸ばす」ことはできません。Swiss roll を平面に展開するには非線形な微分同相写像が必要です。

逆に言えば、もし何らかの線形な基底変換だけで多様体を平らな $\mathbb{R}^d$ に乗せられるのなら、その時点でデータは線形部分空間上にあったことになり、まさにあなたが棄却した「平面」のケースに戻ってしまいます。つまり多様体仮説の本質は「線形変換では平らにできない曲率（および場合によっては大域的なトポロジー）を持つ」という点にあり、必要な座標変換は非線形です。

整理すると二つの見方があります。

• 外在的（extrinsic）な見方：$\mathcal{M}$ は元の $\mathbb{R}^D$ の中に曲がって埋め込まれた $d$ 次元曲面である。基底を変える必要はなく、元の空間の中にそのまま存在しています。
• 内在的（intrinsic）な見方：局所的には $\mathcal{M}$ は $\mathbb{R}^d$ と同相で、チャート $\varphi:\mathcal{M}\to\mathbb{R}^d$ で座標づけできる。

あなたの言う「別基底での多様体」は後者の内在的座標に対応しますが、その対応写像は非線形で、しかも大域的に一枚で済むとは限りません。トポロジーが非自明なら（球面に大域的な単一座標が貼れないのと同じ理由で）複数のチャート＝アトラスが要ります。ご関心のあったhairy ball定理の話と同じ構造で、ここが「単一の線形基底では原理的に無理」の根っこの一部になっています。

生成AIがこれをどう体現しているか

生成モデルは、この非線形な座標づけを学習しているとみなせます。

VAE/オートエンコーダでは、エンコーダ $E:\mathbb{R}^D\to\mathbb{R}^d$ が非線形なチャート（内在座標への写像）、デコーダ $G:\mathbb{R}^d\to\mathbb{R}^D$ が多様体のパラメータ表示（逆チャート＝埋め込み）に相当します。潜在変数 $z$ がまさに「別座標系」での座標であり、$G$ の像 $G(\mathbb{R}^d)$ が学習された多様体です。GAN の生成器も同じく $z\mapsto x$ の非線形パラメータ表示です。

拡散モデルは少し趣が違って、次元を落とさず $\mathbb{R}^D$ のまま動きますが、スコア $\nabla_x \log p(x)$ を学習します。このスコア場は多様体から外れた点では「多様体（高密度領域）へ向かって戻す」向きを向くので、スコア関数そのものが $\mathcal{M}$ の幾何を符号化していると解釈できます。ここでは「曲面上に集中した確率分布」として多様体が現れます。

正直に付け加えたい留保

理想化を割り引いておくと、(1) 実データは多様体の「上」ではなく観測ノイズを伴って「近傍」に分布しているので、厳密な集合 $\mathcal{M}$ ではなく $\mathcal{M}$ 周りに集中した確率分布です。(2) 大域的に一様な単一多様体とは限らず、次元の異なる多様体の和集合だったり、領域ごとに内在次元が変わったり、特異点を持つこともあります。(3) 拡散モデルが環境次元 $D$ のまま動くことからもわかるように、潜在次元と真の内在次元 $d$ は一致しないことが多く、潜在空間には冗長性が残ります。

まとめると、あなたの理解は方向として正確で、修正すべきは「射影・基底変換」を非線形写像に置き換える点だけです。線形のままだと棄却したはずの平面に逆戻りしてしまう、というのがこの仮説の急所です。

核心の問い — 曲面は元からあるのか、変換して初めて現れるのか

すみません、先ほどの話は、射影ではなく非線形変換、2次元平面ではなく局所的にはそうである多様体の文脈でいっていました。単に、高次元「空間」の中の「曲面(マクロには多様体」なのか、非線形変換、次元削減して初めてその曲面が見えるようになるのかどっちなのかなと思って。

ご質問の意図、理解しました。「曲面が元の空間に既にあるのか / 変換して初めて現れるのか」という存在論的な問いですね。

答えは前者です。多様体 $\mathcal{M}$ は元の高次元空間 $\mathbb{R}^D$ の中に、曲面として既に存在している。非線形変換や次元削減はその曲面を「生成する」のではなく、既にそこにある曲面に対して低次元の内在座標（チャート）を与える作業です。

地球の表面で考えると分かりやすいです。球面は3次元空間の中に物理的に存在している。メルカトル図法のような地図投影は、その球面を2次元座標に「展開」して読めるようにする操作であって、投影が球面を作り出すわけではありません。エンコーダ $E:\mathbb{R}^D\to\mathbb{R}^d$ がこの図法に相当し、曲面そのものは座標づけ以前から $\mathbb{R}^D$ に居ます。

ただ、あなたの「初めて見えるようになる」という言い方も、別の水準では正しいので、ここを切り分けるのが核心だと思います。

• 存在論（そこに在るか）：曲面は $\mathbb{R}^D$ の部分集合として在る。変換不要。
• 可読性（低次元性をいつ認識・利用できるか）：生の $D$ 次元座標をいくら眺めても「これは $d$ 次元だ」とは見えてこない。非線形写像で展開して初めて、$d$ 次元の素直な表現として扱えるようになる。

つまり「どっち」は二者択一ではなく、**存在は元空間（前者）、低次元性の顕在化は変換後（後者の語感）**で、両方が別々の問いへの答えになっています。

これが単なる言葉遊びでない証拠として、次元削減を一切せずとも、$\mathbb{R}^D$ の生データ上で局所的に内在次元 $d$ を直接推定できる、という事実があります。近傍点だけを取って局所PCAをかける、あるいはTwoNNやMLE系の内在次元推定をかけると、$D$ 次元空間の中で $d \ll D$ が出てきます。これは低次元構造がデータの $\mathbb{R}^D$ 内での配置そのものの性質であって、削減ステップの副産物ではないことを示しています。

ここで前回の「曲がっているから単一線形チャートでは無理」という話とつながります。局所的には曲面は接平面（小さな $\mathbb{R}^d$ パッチ）に見えるので、近傍内ではほぼ線形に低次元性が露出している。一方で大域的には曲率のせいで、パッチをどう貼り合わせるかという全体像が生の座標では見えず、そこを一枚の綺麗な $\mathbb{R}^d$ に展開するのに非線形写像が要る、という構図です。「局所では既に見えている／大域の展開だけが変換を要する」と言ってもよいです。

生成モデルに引きつけると、デコーダ $G:\mathbb{R}^d\to\mathbb{R}^D$ の像 $G(\mathbb{R}^d)$ はそのまま $\mathbb{R}^D$ の部分集合、つまり元空間に置かれた曲面です。学習しているのは「元空間にある曲面のパラメータ表示」であって、別世界に新しい曲面を作っているわけではない、ということになります。

(留保として、実データはノイズのため曲面の「上」ではなく「近傍」に分布するので、厳密には $\mathbb{R}^D$ 内では曲面のまわりにぼやけた雲として在り、削減は同時に射影=デノイズの役割も担います。それでも雲が集中する中心の曲面は元空間の対象です。)