高维直觉
High-Dimensional Intuition · 为什么想象四维是错误的目标
Geometry & Probability
直觉版
把三维橙子按半径削掉最外 10%,果肉还剩 $0.9^3\approx 73\%$。同一件事在 100 维里做:$0.9^{100}\approx 0.003$。高维的橙子几乎全是皮——不是橙子变奇怪,是「体积」被半径的 $n$ 次方彻底支配。
另一件更颠覆的:高维里随机取两个方向,几乎必然接近垂直——二维中夹角均匀分布,一百维中它紧挤在 90° 附近。所以高维直觉的正确姿势不是硬想象一百维立方体(没人做得到),而是换掉本能。
正式定义
$n$ 维单位球的体积是 $V_n=\pi^{n/2}\big/\Gamma(\tfrac{n}{2}+1)$,其中 $\Gamma$ 是阶乘的连续推广。分母增长快过分子,$V_n$ 在 $n=5$ 见顶后趋于 0:高维单位球在同尺寸立方体里几乎不占地方,体积都跑去了角落。
更有力的表述是测度集中:球面上任何 1-Lipschitz 函数 $f$(输入动一点,输出至多动一样多)满足
$$\Pr\big(|f-\mathbb{E}f|>t\big)\le 2e^{-nt^{2}/2}$$
要害在 $n$ 站在指数上:维度越高,任何「温和」的函数就越接近一个常数。
为什么美
我们默认维度是量的堆叠——再加一维,无非更宽敞些。但上面这些说明,维度是一个会发生相变的参数:低维直觉在 $n\to\infty$ 时不是慢慢变模糊,而是被另一套规律整体替换。妙在新规律并不混乱,反而出奇整齐。大数定律正是测度集中在乘积空间上的特例:概率论最基本的定理,骨子里是一条高维几何事实。
应用
- 嵌入向量:两个随机 768 维向量的余弦相似度极大概率落在 0 附近的窄带里,所以 0.3 已是强信号;套低维直觉设阈值会严重误判。
- 扩散模型:$d$ 维标准高斯的样本几乎全落在半径 $\sqrt{d}$ 的薄壳上而非原点附近,加噪调度与采样路径都建立在这个壳上。
- 最近邻失效:维度诅咒的精确含义是「最近与最远距离之比趋于 1」,KNN 与球树因此同时退化。
一句话精华 + 思考题
高维不是三维的放大版,是另一种几何:质量在壳上,方向互相垂直,随机量紧贴均值。
思考题:如果高维里一切函数都近似常数、一切点都等距,那么高维数据为什么还学得动?
投影与降维
Projection & Dimensionality Reduction · 选一面墙
Linear Algebra
直觉版
降维就是投影,投影就是影子。手影投在墙上变成兔子——丢掉了大量信息,却保住了你关心的那部分。真正的问题是:选哪面墙。
PCA 选「让影子摊得最开」的那面墙,即方差最大的方向。但接下来这一步令人意外:如果你只关心「谁离谁近」,那么随便找一面墙就够了——随机投影几乎和最优投影一样好。
正式定义
Johnson–Lindenstrauss 引理:给定 $\mathbb{R}^d$ 中的 $N$ 个点与精度 $\varepsilon$,存在线性映射 $f:\mathbb{R}^d\to\mathbb{R}^k$,只要
$$k=O\!\left(\frac{\log N}{\varepsilon^{2}}\right)$$
就能让所有点对满足 $(1-\varepsilon)\|x-y\|\le\|f(x)-f(y)\|\le(1+\varepsilon)\|x-y\|$。
要害是:$k$ 里没有 $d$。目标维度只依赖点数的对数与精度,与原空间多高无关——一百万个点,原维度不论 $10^3$ 还是 $10^9$,$\varepsilon=0.1$ 时几千维都够。而构造 $f$ 的办法竟是取一个随机高斯矩阵。
为什么美
三重出人意料。第一,保距所需维度与原维度无关——「高维」在这里根本不收费。第二,随机做法几乎最优:好方向太多,坏方向被指数级压制。第三也最漂亮,它把卡片 1 那条坏消息改写成了工具——正因为随机投影后的长度紧贴期望值,才敢对全部 $N^2$ 个点对同时取并集界。同一条几何事实,既是维度诅咒,也是维度祝福。
应用
- 向量检索:随机投影与 LSH 是 FAISS 一类库的底层,先压维再建索引,JL 保证召回不塌。
- 目标不同:PCA 线性、保全局方差;t-SNE/UMAP 保的是局部邻域,因此 t-SNE 图里簇的相对距离与大小基本不可解读——当代被误读最多的一类图。
- 可解释性:中间层可视化本质都是投影;看到的结构多少来自数据、多少是方法自己造的,必须分清。
一句话精华 + 思考题
降维不是压缩数据,是选择你要保住哪一种结构。
思考题:t-SNE 图上两个簇隔得很远,这能推出它们在原空间里也远吗?
连续变形:动画作为论证
Homotopy · 为什么矩阵是动词
Topology
直觉版
数学动画常被当作教学装饰,但它的内核是一个真正的数学对象:连续变形。3Blue1Brown 讲线性代数时不把矩阵画成数表,而是让整个网格被拉伸、旋转——因为矩阵本来就不是名词,是动词。静态图只能画出动词的结果,动画画的是动词本身。
再进一步:变形本身可以就是证明。若能把 A 连续变成 B,而某个量全程不变,那么这个量在 A 与 B 上必然相等——这就是拓扑不变量的全部思想。
正式定义
两个连续映射 $f,g:X\to Y$ 同伦,是指存在连续的
$$H:X\times[0,1]\to Y,\quad H(x,0)=f(x),\; H(x,1)=g(x)$$
$X$ 是被变形的东西,$Y$ 是它所在的空间,$[0,1]$ 就是时间轴,$H(\cdot,t)$ 是第 $t$ 帧——$H$ 本身就是那段动画。同伦不变量,就是在所有这类动画下纹丝不动的量。
为什么美
看内接矩形问题:平面闭曲线上总能找到四点构成矩形吗?把曲线上所有无序点对组成一个空间——$(a,b)$ 与 $(b,a)$ 算同一点,这次粘合恰好造出一次翻转,得到的正是 Möbius 带。再把每个点对映到 $\mathbb{R}^3$:记下中点位置与两点距离。一个矩形,就等于两个点对共享了中点与距离,即这个映射的自交点。而 Möbius 带的边界是原曲线、必须躺在平面上,拓扑迫使它的内部无法无自交地嵌进去——于是矩形必然存在。
整个论证没有一个方程,全是形状。这是可视化思维作为发现引擎最纯粹的样子:它不是把证明画出来,它就是证明。
应用
- Manim(3B1B 的动画库)把「关键帧」换成「连续变换的参数族」——你写的不是动画,是 $H$。
- 表示学习:分类网络做的事,是把两团缠绕的流形连续拉直到线性可分。Chris Olah 的经典可视化说明,网络深度约等于允许的变形步数。
- 同伦延拓法:解非线性方程组时,从已知解的简单方程连续变形到目标方程、沿途跟踪解——用于电路仿真与机器人逆运动学。
一句话精华 + 思考题
静态图画的是结论,动画画的是论证——因为数学里很多真理本身就是「能连续变过去」。
思考题:如果一个概念只能靠动画理解,它是否本质上就是关于变化的?
视觉编码与它的欺骗
Visual Encoding · 图是一条有噪声的信道
Statistics & Perception
直觉版
Anscombe 四重奏:四组数据的均值、方差、相关系数、回归线相同到小数点后两位,画出来却是四张毫不相干的图。统计量是有损压缩,图是那个丢掉的部分。后来的 Datasaurus 把玩笑推到极致:同样的统计量可以画出一只恐龙。
但图也骗人,骗法还可以量化。人眼读位置最准,长度次之,往下依次是角度、面积、体积、颜色深浅。所以饼图(角度+面积)系统性地不如条形图,三维柱状图(体积)几乎必然误导。
正式定义
可视化的形式框架叫图形语法:一张图,就是一个从数据变量到视觉通道的映射
$$\text{变量}\;\longmapsto\;\text{通道}\in\{x,\;y,\;\text{长度},\;\text{角度},\;\text{面积},\;\text{颜色},\dots\}$$
每个通道有自己的感知精度——Cleveland 与 McGill 用受控实验测出了上面那个排序。于是「设计一张图」有了确切含义:在所有映射里挑一个,把最重要的变量交给精度最高的通道。
为什么美
这一步把审美问题变成了信道问题。数据要穿过一条有噪声、响应非线性的信道——人的视觉系统——才能抵达理解,设计就是给这条信道选编码。它和信息论同构:有容量,有失真,有编码优劣。一张误导的图不是「不好看」,是编码错误:高重要性的变量被塞进了低精度通道。美学在这里第一次有了可证伪的判据。
应用
- 损失曲面:二维切片画出的「平坦/尖锐」会被参数缩放任意扭曲,Li 等人的 filter normalization 正是为了让这张图在模型之间可比。
- 注意力热图:颜色是精度最低的通道之一,人对饱和度的判断严重依赖上下文——同一张 attention map 换个 colormap 就能读出不同「结论」。
- 模型评估:ROC 曲线把两个率映到位置通道,比单一 AUC 数字保住的信息多得多;同一个 AUC 可对应形状迥异的曲线,这就是 Anscombe 的现代版。
一句话精华 + 思考题
图不是数据的插图,是数据到人眼的一次编码;编码可以逼近最优,也可以撒谎。
思考题:你最近一次因为一张图改变结论——是图揭示了数字藏起来的东西,还是它的编码让你看见了本不在数据里的模式?
深入资源
Cleveland & McGill · Graphical Perception(1984);Tristan Needham · Visual Complex Analysis;3Blue1Brown · Essence of Linear Algebra。
深入思考
Going Deeper
高维里一切都「集中」,那高维数据为什么还学得动?
因为真实数据根本没填满那个高维空间。流形假设说:图像与语言的数据聚集在维度远低于环境维度的低维流形附近。测度集中描述的是球面上均匀分布的行为,真实分布则高度非均匀——降维之所以奏效,正因为内蕴维度远小于表观维度,而深度网络在做的可以理解为学这个流形的坐标卡。反过来,当表征真的趋于各向同性(坍缩、纯噪声),学习确实无望。
Atiyah 说代数是魔鬼的交易。那么可视化思维的代价是什么?
代价是不可扩展与不可验证。几何直觉在三维内极可靠,四维以上迅速失效;代数不管多少维都照算不误——这正是魔鬼提供的机器。更麻烦的是图像论证难以形式化检查:Kempe 的四色「证明」被图骗了十一年。健康的姿势是分工:几何提供猜想,代数提供保证。近年 Lean 把验证端交给机器,恰恰释放了发现端继续依赖直觉与图。
如果一个数学事实无法可视化,是它太抽象,还是我们的视觉系统太贫乏?
都不全是。视觉系统是为三维欧氏、连续、低维世界演化出的专用硬件,天然不适配离散无穷、非交换性、超越基数。但「不可视化」常被另一类可视化取代:范畴论用交换图,群论用凯莱图,逻辑用证明树——它们画的不是空间,是关系。所以更准确的说法是:视觉思维的边界随着我们发明新图式而外推,Feynman 图与张量网络图都是这种外推的产物。
大模型能「看见」数学吗?
多模态模型能读图,但几何理解主要来自图文的统计关联,而非空间操作本身。判别性的测试是那些必须靠心理旋转或连续变形才能回答的问题:两个纽结是否等价、一个曲面的亏格是多少——人类解这类题调用的是运动与空间的具身回路,不是语言回路。如果几何直觉本质上是一个内部模拟器,那么装进模型需要的可能不是更多图像,而是把可微的几何操作做成原语。