Day 40 · 2026.08.01

傅里叶分析

Fourier Analysis — 换一组基,混沌的信号自己排好了队
「傅里叶定理不仅是现代分析中最优美的结果之一,还是处理几乎每个晦涩物理问题不可或缺的工具。」 — Lord Kelvin

频域思维

The Frequency Domain · 同一个信号,换一组基去看
Harmonic Analysis
直觉版

一段录音的波形看上去毫无规律。但把它缠绕在一个圆上——以每秒 $\xi$ 圈绕行,波形高低变成离圆心的远近——奇迹就发生了:绕速与信号里某个真实频率对上时,波峰总转到同一侧,图形的质心明显偏离原点;对不上时,波峰均匀散开,质心留在原点。

于是「测量某个频率」成了纯几何动作:质心跑多远是强度,朝哪是相位。信号没变,变的只是描述它的基。

时域:三条正弦叠加,看不出结构 频域:三根谱线,结构一目了然 ξ₁ ξ₂ ξ₃ frequency amplitude
正式定义

把「缠绕并求质心」写成积分,就是傅里叶变换:

$$\hat f(\xi)=\int_{-\infty}^{\infty} f(t)\,e^{-2\pi i\xi t}\,\mathrm{d}t$$

$e^{-2\pi i\xi t}$ 是单位圆上以每秒 $\xi$ 圈转动的点,即那台缠绕机;乘上 $f(t)$ 把该时刻的信号值当作到圆心的距离;积分把所有位置加起来求质心,结果的模长为强度、辐角为相位。这组基的特权在于它是平移算子的特征函数:平移 $\tau$ 后形状不变,只整体乘上 $e^{2\pi i\xi\tau}$——一切线性时不变系统于是在此基下对角化

为什么美

对角化把最难的运算变成最容易的。卷积——那个烦人的滑动求和——在频域退化为逐点相乘:

$$\widehat{f*g}=\hat f\cdot\hat g$$

微分同样退化:$\widehat{f'}(\xi)=2\pi i\xi\,\hat f(\xi)$,求导变成乘一个数,微分方程变成代数方程。Fourier 1807 年正是靠它解开热方程:各频率互不干扰地按 $e^{-4\pi^2\xi^2 kt}$ 独立衰减,高频衰减极快——这就是「热让一切变平滑」的数学原因。而由此引发的收敛性之争,逼出了严格的极限概念:一个解物理题的技巧,改写了分析学的地基。

应用

核磁共振不是先拍图再变换——梯度磁场让扫描仪直接采集傅里叶系数(k-空间),图像是最后一步反变换的产物。量子力学中位置与动量表象互为傅里叶变换,海森堡不确定性正是「函数与其变换不能同时都窄」的推论。深度学习里,隐式神经场靠傅里叶特征编码破解 MLP 对高频的迟钝。

一句话精华 · 思考题
傅里叶变换不是计算技巧,而是换到「线性时不变系统的特征基」上;难题变简单,是因为矩阵变成了对角阵。
若系统并非时不变(如注意力权重随位置而变),什么才算它的「特征基」?还有办法找出来吗?

快速傅里叶变换

The FFT · 用对称性把 N² 砍成 N log N
Algorithms
直觉版

离散版本要算 $N$ 个频率,每个都得扫过 $N$ 个采样点——$N^2$ 次乘法。$N=10^6$ 时是 $10^{12}$ 次,超出实用范围。

关键观察:这 $N^2$ 个旋转因子里只有 $N$ 个不同的值,因为转满 $N$ 步就回到原地,巨量重复被白白重算。FFT 于是分治:把采样点按下标奇偶劈成两半,各做一次 $N/2$ 点变换,再花 $O(N)$ 拼回去,$\log N$ 次到底。

分治:按奇偶拆开,拼回时一次旋转服务两个输出 N 点 DFT 偶数项 E 奇数项 O Xₖ = E + ωO Xₖ₊ɴ⁄₂ = E − ωO 同一个 ωO,加一次减一次 —— 蝶形
正式定义

记 $\omega_N=e^{-2\pi i/N}$(把圆周 $N$ 等分的那一步旋转),$E_k$、$O_k$ 是偶下标与奇下标子序列的 $N/2$ 点变换。则

$$X_k=E_k+\omega_N^{\,k}O_k,\qquad X_{k+N/2}=E_k-\omega_N^{\,k}O_k$$

秘密全在那个减号:$\omega_N^{\,k+N/2}=-\omega_N^{\,k}$,多转半圈就是反号。所以算一次 $\omega_N^{\,k}O_k$ 能同时供两个输出使用,工作量当场减半。递推 $T(N)=2T(N/2)+O(N)$ 给出 $O(N\log N)$:$N=10^6$ 时降到约 $2\times 10^7$ 次,快了五万倍。

为什么美

加速不是工程优化,而是群论的红利。$N$ 点变换本质是循环群 $\mathbb{Z}/N\mathbb{Z}$ 上的调和分析;$N=2^m$ 时这个群有一条完整的子群链,每往下一层就把问题对半劈开。复杂度的下降,直接对应代数结构的可分解性——素数长度的 FFT 因此需要完全不同的技巧。顺带一提,Gauss 早在 1805 年就写下过这个算法,比 Fourier 发表论文还早两年,却沉睡到 1965 年才被 Cooley 与 Tukey 重新发现。

应用

你此刻连着的 Wi-Fi 与 5G 用的是 OFDM:数据分散到上千个正交子载波上,收发端各跑一次 FFT,频率选择性衰落就退化成每个子载波上的一次复数除法。大整数乘法借「乘法即卷积」用 FFT 做到近线性时间,是计算数论的基础设施;Shor 算法提取周期的那一步,同样是量子版傅里叶变换。

一句话精华 · 思考题
FFT 的万倍加速不来自更快的机器,而来自发现「计算里全是重复」——对称性一旦被看见,就能兑换成时间。
反向传播同样靠共享重复的中间梯度取胜,这是同一类思想吗?还有哪些 $O(N^2)$ 算法在等它的 Cooley–Tukey?

小波变换

Wavelets · 傅里叶知道有什么频率,却不知道它在何时
Time-Frequency
直觉版

傅里叶的基是无限长的正弦。表示一次短促的鼓点,得靠海量正弦的精妙抵消——除那一瞬外全部相消。频谱因此被涂满,却说不出鼓点发生在第几秒。而乐谱恰恰是横轴时间、纵轴音高:我们要的是局部的频率信息

小波换了基元:一个摆动几次就衰减到零的短促「波包」。平移它是问「在哪」,伸缩它是问「多快」。关键在于伸缩不均匀——高频用又窄又快的版本(时间定位准),低频用又宽又慢的(频率定位准)。这正是耳蜗的策略:对快事件问「什么时候」,对慢事件问「是什么」。

短时傅里叶:格子一样大 小波:高频用扁格子,低频用高格子 横轴 time 纵轴 frequency 横轴 time 纵轴 frequency 每格面积有下限,只能重新分配
正式定义

取一个均值为零、快速衰减的母小波 $\psi$,整族基由平移与伸缩生成:

$$\psi_{a,b}(t)=\frac{1}{\sqrt{a}}\,\psi\!\left(\frac{t-b}{a}\right)$$

$b$ 是平移(定位在哪一刻),$a$ 是尺度(小 = 窄而高频,大 = 宽而低频),$1/\sqrt{a}$ 保证不同尺度能量可比。为什么不能既窄又精确定频?因为有一条硬边界:

$$\Delta t\cdot\Delta\xi\ \ge\ \frac{1}{4\pi}$$

$\Delta t$、$\Delta\xi$ 是时间与频率上的展宽。这是海森堡不确定性原理的数学原型——与量子力学中的那条是同一个定理,只是那里把 $t,\xi$ 叫作位置与动量。时频平面上每块砖的面积有下限:你不能让它变小,只能选择做扁还是做高。

为什么美

小波带来「多分辨率分析」:嵌套空间 $V_0\subset V_1\subset V_2\subset\cdots$ 中,$V_j$ 是到第 $j$ 层为止的近似,相邻两层之差恰好由小波张成——那正是「新增的细节」。信号于是被拆成「粗糙轮廓 + 逐层细节」,正是人先看整体再看局部的顺序。

更漂亮的是它的自指结构:Daubechies 小波写不出初等表达式,只能由尺度方程 $\varphi(t)=\sqrt2\sum_k h_k\varphi(2t-k)$ 递归定义——函数由自己的压缩副本拼成,与分形同源,而实现层面只剩滤波器系数的卷积与降采样。

应用

LIGO 探测引力波时用时频图看到那道从 35 Hz 扫到 250 Hz 的 chirp——纯傅里叶谱只会把它糊成宽带噪声。图像领域小波系数天然稀疏(平滑处近乎为零,只在边缘显著),阈值化即可去噪,JPEG2000 与数字电影母版都基于它。

一句话精华 · 思考题
时频分辨率的总账守恒;小波不增加信息,只把它分配到最该花的地方——对高频问时间,对低频问频率。
神经网络浅层看纹理、深层看语义,是否也是一种学出来的多分辨率分析?

变换编码与稀疏性

Transform Coding · 压缩的本质是找到让信号变稀疏的那组基
Information
直觉版

一张照片在像素基下,每个像素都携带信息,几乎无处可省。换到余弦基下,能量却戏剧性地集中:绝大部分系数近乎为零——自然图像本就以平缓区域为主,剧烈跳变只发生在边缘。

压缩的三步逻辑于是浮现:换基让信号稀疏 → 把不重要的系数粗暴量化甚至丢弃 → 对剩下的做无损熵编码。JPEG 正是如此:8×8 分块做离散余弦变换,除以一张按人眼敏感度设计的量化表,再熵编码。丢掉的不是随机信息,而是人眼本就看不见的那部分。

系数按幅值排序后的衰减:换基决定能否压缩 像素基:全都重要,压不动 余弦基:少数系数扛下全部能量 系数序号(由大到小) 幅值
正式定义

DCT 是傅里叶变换的实数版本:先把信号偶对称延拓再变换,块边界不再有人为跳变,也就不会凭空造出高频。真正丢信息的只有量化一步:

$$\hat c_{uv}=\mathrm{round}\!\left(\frac{c_{uv}}{q_{uv}}\right)$$

$c_{uv}$ 是位置 $(u,v)$ 处的变换系数,$q_{uv}$ 是量化表中对应的步长——高频处 $q$ 取得大,除完取整就大量归零;软件里的「质量档位」调的正是整张表的缩放因子。至于最多能压到多小,Shannon 的率失真函数 $R(D)$ 给出下界:允许的失真越大,所需码率越低,这条曲线是任何编码器都穿不透的地板。

为什么美

「哪组基最好」有确定答案:使系数彻底去相关的 KLT(即 PCA)对每类信号都最优——但它依赖信号统计量、要额外传输基本身、且没有快速算法。而对相邻像素高度相关的一阶马尔可夫模型,DCT 是 KLT 的极佳渐近逼近,又享有 FFT 级别的快速算法。理论最优与工程可行在此会合,这才是 JPEG 统治三十年的原因。

更深一层:稀疏性还能反过来削减采样本身。压缩感知说,若信号在某组基下 $k$-稀疏,约 $O(k\log n)$ 个随机线性测量便足以重建,远低于 Nyquist 率——既然采完九成都要扔掉,何必先采?

应用

MP3 与 AAC 用心理声学模型生成量化表——响音会掩蔽邻近的弱音,被掩蔽的部分直接丢掉。H.264/H.265 在运动补偿后的残差上做整数 DCT,把视频流量压低两个数量级。压缩感知让 MRI 扫描时间缩短数倍。神经网络的权重量化(INT8/INT4)是同一套逻辑:先找到让权重分布集中的表示,再在指标察觉不到处削位宽。

一句话精华 · 思考题
压缩不是「删掉一些数据」,而是「换到一组基,让不重要的东西自己变成零」;找到那组基,才是全部的智力活动。
大模型的预训练是不是在为人类语料寻找这样一组基?那张决定丢弃什么的「量化表」又是谁写的?

深入思考

为什么正弦是「自然的」基?换成方波会怎样?
方波也能构成正交基(Walsh–Hadamard)。正弦的特权不在形状,而在它是平移算子的特征函数:物理定律与时间起点无关,于是描述世界的线性算子都在正弦基下对角化;方波一经平移就变成其他方波的组合。若某系统的对称性是缩放而非平移,它的「正弦」便是幂函数 $t^s$,对应 Mellin 变换。是对称性在选择基,而不是我们。
不确定性原理为什么在数学与量子力学里是同一个定理?
数学上它只说:函数与其傅里叶变换不能同时集中,证明仅用 Cauchy–Schwarz 不等式与分部积分,与物理无关。量子力学的额外输入只有一条假设——动量表象是位置表象的傅里叶变换。接受它之后,海森堡不等式便自动成为那条数学定理的物理翻译:它不是「测量会干扰系统」那种技术限制,而是波动描述的内在结构。
压缩、预测、理解,是不是同一件事?
信息论给出了肯定的形式化:好的概率模型可兑换成短编码,压缩率因此就是模型质量的度量;Kolmogorov 复杂度更进一步——最短的生成程序就是数据的最佳解释。大模型「预测下一个 token」的目标,数学上等价于对语料做无损压缩。但压缩只求再现,理解还要求可干预:知道 $P(\text{下一词})$ 未必知道改变什么会导致什么改变。