1738 年 Daniel Bernoulli 摆出一个赌局：反复抛硬币直到出现正面，第 $n$ 次才出就赔你 $2^n$ 元。期望收益 $\tfrac12{\cdot}2+\tfrac14{\cdot}4+\cdots=\infty$，可没人肯为它付一百元。问题不在算错，而在于把「钱」当成了目标本身。第一个一百万让你从租房变成有房，第十个只是账面多一位数。Bernoulli 的解法：先把钱换算成它对你的意义——一把内在刻度，叫效用——再求期望。这条曲线越往上越平，凹的。
von Neumann 与 Morgenstern（1944）走得更彻底。设你对随机结果（彩票）有偏好序 $\succcurlyeq$，只要它满足四条公理——完备性、传递性、连续性（好坏之间总有一个概率混合恰好等价于中间项）、独立性（两边同时掺入同一第三选项不改变排序）——那么必然存在函数 $u$ 使得
$x_i$ 是结果、$p_i$ 是其概率，$u$ 把结果映到一条实数刻度上。
请注意逻辑的方向：没有人假设你拥有效用函数。前提只是「你的选择彼此自洽」，结论才是「你的行为必然看起来像在最大化某个期望值」。这类结果叫表示定理——数字不是被塞进模型的，是从秩序里被逼出来的。而「风险厌恶」这个心理学词汇在此退化成一句几何：$u$ 凹 $\iff$ $E[u(X)]\le u(E[X])$，弦永远落在曲线下方，落差就是你愿付的保险费。
RLHF 的奖励模型做的正是这件事：人类只提供成对比较（A 优于 B），Bradley–Terry 把它们拟合成一个标量分数，策略再最大化其期望——vNM 定理正是「标量分数存在」这一步的合法性来源。而公理被违反之处就是行为经济学的入口：Allais 悖论中人的选择系统性违反独立性，前景理论因此改用参考点与概率加权。
方差是最常用的风险刻度，却有个尴尬：它同样惩罚上涨，而没人害怕赚太多。于是有了统治九十年代风控的 VaR——95% 置信水平下的那条线：95% 的日子里亏损不会超过它。
问题是它只报告门槛的位置，对门槛之外一字不提：两个组合可以 VaR 相同，一个再往外只多亏一点，另一个直接归零。更糟的是，把两笔各自 VaR 很小的资产打包，合并后的 VaR 可能大于两者之和——分散化竟让风险读数升高。尺子坏了。
Artzner 等人（1999）反过来问：一把合格的尺子该满足什么？把 $\rho(X)$ 读作「要垫进多少现金，头寸 $X$ 才算安全」，答案是四条公理：单调性、平移不变性 $\rho(X+c)=\rho(X)-c$（加现金抵掉同额风险）、正齐次性、次可加性 $\rho(X+Y)\le\rho(X)+\rho(Y)$。四条全满足者称一致性风险度量。VaR 恰恰卡在最后一条上，而条件风险价值
——尾部的平均损失，而非尾部的入口——四条全过。
次可加性看着像技术条件，实则是「分散化不该让风险变大」这句常识的精确编码。真正漂亮的是它的推论：任何一致性风险度量都可写成 $\rho(X)=\sup_{Q\in\mathcal Q}E_Q[-X]$——在一族候选概率 $\mathcal Q$ 上取最坏情形的期望损失。这把两件事证明成同一件：「我厌恶风险」与「我不确定该用哪个概率、于是按最坏的那个打算」等价。四条朴素公理经凸对偶一走，稳健与悲观合二为一。
巴塞尔协议 2016 年把市场风险的监管指标从 VaR 换成 ES（即 CVaR），理由正是次可加性；Rockafellar 与 Uryasev 证明 CVaR 优化可化为线性规划，风控从此可算。同一个 $\sup_Q$ 在机器学习里叫分布鲁棒优化：最小化的不是训练分布上的平均损失，而是其邻域内一族分布中的最坏损失，用以抵抗分布漂移。
有一个对你有利的赌局，可反复玩，你自由决定每次押身家的几成。全押？只要输一次就永久出局——破产是吸收态，此前赢多少次都补不回来。只押百分之一？稳，但慢到没意义。中间必有一个最优比例。
要点在于：财富是被乘的，不是被加的。乘法过程的长期表现由几何平均决定，而几何平均等价于 $\log$ 的算术平均。该最大化的从来不是每轮期望收益，而是期望的对数增长率。
设赔率 $b{:}1$（押 1 赢 $b$），胜率 $p$，$q=1-p$，每轮押现有财富的比例 $f$。$n$ 轮后 $W_n=W_0(1+fb)^{k}(1-f)^{n-k}$，$k$ 为胜数。取对数、除以 $n$，由大数定律得长期增长率
注意 $\log$ 不是被假设的效用偏好，它是「把乘法变加法、好让大数定律用得上」的必然产物。
Kelly 1956 年在贝尔实验室写下这个结果，隔壁坐着 Shannon，论文标题叫《信息率的新解释》。对公平赔率的二元赌局，最优增长率是 $g^*=\log 2-H(p)$，$H$ 为 Shannon 熵。右边是「你比无知者多掌握的信息量」，左边是「你的钱能以多快的指数速度增长」。你能赚到的，恰好等于你比别人多知道的。一个度量编码长度的量，未加修饰就成了财富增长率的上界——信息论与赌博是同一个定理的两次读法。
Thorp 用它做 21 点与可转债套利，并把 Kelly 带进对冲基金的仓位管理。实践中通常只押 half-Kelly：如上图，$g(f)$ 在 $f^*$ 附近极平坦，右侧却急坠并在 $2f^*$ 处穿零，而 $p$ 永远是估出来的——在左缓右陡的曲线上，估计误差应当往左让。
一排老虎机，回报分布各异而你并不知道。每拉一次杆你同时在做两件事：赚这一次的钱，和买一点「哪台更好」的信息。信息不能单买——它只能作为下注的副产品被取得，这正是它区别于普通优化之处。一直拉当前最好的那台，可能永远错过真正的好机器；挨个轮流试，拉杆又大多浪费在已知的坏机器上。这个张力无法消除，只能定价。
$K$ 台机器，第 $a$ 台的期望回报为 $\mu_a$，最优者 $\mu^*$。衡量算法好坏的不是总收益，而是后悔——与「一开始就知道答案」之间的差距 $R_T=T\mu^*-E\big[\sum_{t=1}^{T}\mu_{a_t}\big]$。UCB 算法每一步选
$\hat\mu_a$ 是当前估计（利用），根号项是置信半径：拉得越少（$n_a$ 小）它越宽，且随 $t$ 缓慢抬升。这是给「无知」明码标价，并让久未验证的选项自动重新浮上来。上图中被选中的，正是均值不最高、但上界最高的那台。
Lai 与 Robbins（1985）证明任何合理算法都逃不掉 $R_T=\Omega(\log T)$，而 UCB 达到 $O(\log T)$——上下界同阶。这意味着「乐观地面对不确定性」不是工程启发式，而是可证明最优的原则。
更意外的是 Gittins（1979）：折扣无限期下的最优策略竟可分解——为每台机器单独算一个只依赖自身历史的指数，拉最大者即可，$K$ 维耦合的动态规划坍缩成 $K$ 个一维问题。而 Thompson 早在 1933 年就提出按后验概率随机抽一台，也同阶最优：频率派的置信上界与贝叶斯的后验采样殊途同归。
A/B 测试用它把流量持续倾向优胜方案，不必等实验跑完；推荐系统冷启动、临床试验的自适应分配、超参数搜索（Hyperband）都直接是 bandit。最著名的一次是把 UCB 装进搜索树节点：UCT 与蒙特卡罗树搜索，AlphaGo 的骨架。LLM 的偏好数据采集同理——候选是臂，标注预算就是拉杆次数。