图像描述：看懂图只是入场券，难的是没人说得清「描述对了」

一句话

你以为图像描述（image captioning）的难点是「看懂图」，其实视觉那一半早被现成的预训练模型解决得差不多了；这一章真正在解的是两件说不清的事：怎么把视觉空间和语言空间对齐成一条能自回归往下写的链路，以及当一张图有无数个都对的描述时，凭什么判分。核心工程直觉只有一句：别从头造一个看图说话的模型，拿两个各自已经很强的现成模型，只训中间那层薄薄的「翻译层」。

Glossary · 术语表

坐标

Part II 十道真题的第四道。上承 Ch4 ChatGPT——那里输入输出都是文字；这一章第一次跨模态：图进、文出，也正好是后面 Ch7–Ch11（文进图出）的镜像。现实对应无障碍 alt text、图库与电商的图文检索、内容审核的前置理解，以及今天所有多模态助理的「看图说话」那一环。

这章要解决什么

先把它和上一代任务分清楚：图像分类和目标检测给的是标签，「人、狗、飞盘」。但标签把关系丢了——「人把飞盘扔给狗」和「狗把飞盘叼给人」，标签集合一模一样。读屏软件念出三个名词，视障用户仍然不知道发生了什么。这一章要的是一个带谓语的句子。

第二层是规模。人工写 alt text 不是不能做，是做不完：一个中型图片平台日增 1000 万 张图，按一条人工描述 30 秒算，就是约 83000 小时，一万个人日的活——每天。而模型跑一张图是几十毫秒量级。这道题从一开始就只有自动化一条路。

第三层最麻烦：「对」没有唯一形态。翻译至少有参考译文，分类至少有标准标签；而同一张图的合格描述有无穷多个，写得粗有写得粗的用法（检索索引），写得细有写得细的用法（无障碍）。评估方式必须整套重做——这也是本章后半篇幅最重的地方。

不解决会怎样？视障用户在信息流里只听见「图片」两个字；平台上几十亿张图片成了搜不到、审不了、也归不了档的黑洞。

核心内容，讲透

① 编码器—解码器：图怎么变成解码器「看得见」的东西

标准骨架是视觉编码器 + 语言解码器。ViT 把一张 224×224 的图切成 16×16 的 patch，得到 196 个视觉 token，每个是一个 d 维向量；解码器则是一个普通的自回归语言模型。中间必须有一层投影 / 适配器，把视觉向量搬进语言模型的词嵌入空间——两边本来各说各话，这一层就是翻译官。

生成时，解码器每写一个词都做一次 cross-attention：对那 196 个视觉 token 算一组权重，等于「回头在速记卡里翻一遍、挑出此刻最相关的几张」。写「狗」时权重压在毛茸茸那几块，写「草地」时挪到下半张图。这正是标签做不到的事：注意力权重随着句子往下走而移动，关系就是在这个过程里被说出来的。

为什么这个设计便宜得惊人：视觉侧是一次性的百级 token，caption 通常只有 10–20 个 token，整条链路的生成量比文生图小两三个数量级——同样一块 GPU，出一张图要几秒，出一句描述是几十毫秒级。代价在另一头：patch 切得越细看得越清（448×448 就是 784 个 token），而注意力成本随 token 数平方涨，小字、密集场景的识别力就是拿这个换的。

② 数据：alt text 是免费金矿，也是污水

训练要的是「图 + 描述」配对，来源只有两类，而它们几乎在所有维度上相反。

人工标注：COCO Captions 给约 12 万张图各配了 5 句人写描述——一张图五句，本身就是「合格答案不止一个」的直接证据。干净、句式完整，但规模封死在十万级，而且题材偏日常场景。

网页 alt text：白送十亿级配对，但脏得厉害——大量是文件名、「点击查看大图」、SEO 关键词堆砌，或者和图根本无关。所以真正的工作量在过滤流水线：按长度和词性筛掉非句子、用现成检测器核对文中提到的东西图里有没有、把具体人名地名泛化成上位词（「奥巴马」→「政治人物」）以免模型把名字背下来。Google 的 Conceptual Captions 就是这么从网页 alt text 里洗出 330 万条的。

第三条路是合成回填：先用一个还不太行的 captioner 给脏图重写一句，再用一个打分器把明显不配的筛掉，得到「规模接近网页、干净度接近人工」的中间产物。本质是用算力的钱换标注的钱——代价是模型的偏好会被写进它自己的训练数据，错误容易自我强化。

③ 训练与解码：教的时候给答案，用的时候没有

训练用 teacher forcing：每一步都把参考描述里的正确前缀喂进去，让模型只学「给定正确前文，下一个词是什么」。这样训得快、能并行。后遗症叫 exposure bias：真实推理时前文是模型自己写的，一旦第三个词跑偏，它从没见过这种局面，只能一路错下去。

解码策略于是变成一个诚实的取舍。束搜索选总概率最高的句子，结果是描述普遍安全而无聊——满屏的「一个男人在……」，因为最高概率的句子天然是最平庸的那句。采样（温度 / nucleus）让描述生动，但幻觉率同步上升：模型更敢说出图里没有的细节。k=3~5 的束搜索加一个长度惩罚是无障碍场景的常见落点——那里说错的代价远高于说得无聊。

还有一条容易被忽略的裂缝：训练优化的是交叉熵（逐词对不对），验收看的是 CIDEr（整句像不像人写的），两者并不是一回事。于是有了直接把指标当奖励的做法（如自评判序列训练 SCST）：让模型自己采样几句、用 CIDEr 打分、往高分方向挪。它能把指标显著抬上去，但也把「刷指标」的空间一并打开了——这是第 4 章 reward hacking 的同一个故事换了张皮。

④ 评估：一张图有无数个对的答案

自动指标分三代，各自补上一代的洞。

n-gram 重合派（BLEU / METEOR / ROUGE）：看生成句和几句参考答案的词组重合度。问题是同义改写会被冤枉，而「一个男人」这种到处都出现的词组又白送分。CIDEr 是专为 captioning 设计的改良：用 TF-IDF 给词组加权，把所有图都通用的套话压到近乎零分，只有说出这张图特有的东西才得分。

结构派（SPICE）：把句子解析成场景图——对象、属性、关系——再和参考答案的场景图比。它正好抓住了标签丢掉的那一层：「狗叼飞盘」和「飞盘砸狗」在 n-gram 上几乎同分，在场景图上是两件事。

无参考派（CLIPScore）：干脆不要标准答案，把图和句子各自编码进同一个空间，量它们有多近。好处是能评那些参考答案里压根没有的正确描述，坏处是它继承了 CLIP 自己的盲区——数数、方位、否定都不灵。

三代全上也替代不了人评。真正上线前还要专门测一项：物体幻觉率——生成句里提到、但图中并不存在的物体占比。它和流畅度无关，却是无障碍场景里唯一致命的错误类型。

关键权衡与选型

第一个决策是怎么接线：视觉侧和语言侧各有一堆现成的强模型，问题是训哪部分、冻哪部分。

表 1 · 四种接线方式

第二个决策是用什么验收。这里最常见的错误是只报一个 CIDEr 就上线。

表 2 · 五种评估口径

第三个决策常被当成小事，其实直接定义产品：描述写多细。检索索引要的是密集名词（越多可命中的词越好，读起来像不像人话无所谓）；无障碍要的是一句完整、准确、不猜测的话；社交场景还想要点语气。同一个模型很难同时最优——多数系统的做法是同一套视觉表示、按场景配不同的提示词与解码参数，而不是训三个模型。

为什么重要 / 落到真实系统

三个已经在大规模跑的落点：无障碍（社交平台给没有 alt text 的图自动补一句，读屏软件念出来）、图文检索（把生成的描述丢进倒排索引，图片从此可以被文字搜到，这是电商和图库的主线需求）、内容理解前置（先把图转成文本，后面的审核、打标、推荐链路就都能复用已有的文本管线，省掉一整套多模态基础设施）。第三个尤其值钱：captioning 在很多公司的真实身份不是面向用户的功能，而是把图片塞进文本世界的转接头。

易错点与争议

• 把它当分类任务的加强版。 标签和句子的差别不是粒度，是有没有谓语；评估方式、数据形态、失败模式全都不同。
• 拿 CIDEr 当唯一闸门。 表层词组匹配对「关系说反了」几乎不敏感；指标涨了三个点而用户体验没动，是这一行的日常。
• 幻觉被流畅度掩盖。 最危险的输出恰恰是最通顺的那句——听的人看不见图，没有任何核对手段。无障碍场景宁可说得少而稳。
• 让模型去猜人的属性。 性别、种族、年龄、情绪都是高风险猜测，猜错的代价远大于说漏。业界的通行做法是只描述可见事实、不推断身份——这是产品红线，不是模型指标问题。
• 忽视数据集偏见。 训练数据里厨房场景常配女性、球场常配男性，模型会把共现当规律，在图像证据不足时直接按刻板印象补齐。
• 束搜索的沉默成本。 它让平均分好看，却系统性地抹掉罕见但正确的说法；多样性下降往往在指标上看不出来。
• 时代局限。 本章以「专用 captioner」为主线展开；书成稿前后，通用视觉语言模型已经能零样本写出不输专用模型的描述，评估侧也在往「让强模型当裁判」迁移。但根本约束一条没变：开放描述没有唯一正确答案，好坏只能靠近似口径互相补台。

要点