文生视频：难的不是画得像，是下一帧还认得出上一帧

一句话

文生视频不是「文生图 ×N」。本章的核心命题是：时间一致性（temporal consistency）必须作为一等公民写进模型结构，而不是事后修补；可一旦写进去，算力就沿「帧数 × 分辨率」两个方向同时爆炸。于是整章只有两条工程主线——怎么把时间建进去，和怎么把算力摊薄。今天所有视频生成系统的架构，几乎都是这两条线互相妥协的产物。

Glossary · 术语表

坐标

本章是《Generative AI System Design Interview》Part II 十道真题的收官一题，也是全书算力最重的一道。它直接站在第 8 章（高分辨率图像合成 · 潜空间扩散）与第 9 章（文生图 · 交叉注意力与无分类器引导）的肩膀上——那两章解决的「一帧怎么画好、怎么让它听话」在这里被当成已知条件，本章只加一件新事：时间。对应现实里 Sora、Veo、Runway 这类产品，以及任何「提交任务、排队出片」的生成型后端。

这章要解决什么

先把规模摆出来。一段 5 秒、24 fps 的片子是 120 帧。若照第 9 章那套逐帧生成，按单张图在一块 A100 上几秒的量级算，一百二十帧就是几分钟起步——而且换来的是一段没法看的画面：每一帧都从独立的随机噪声重新解一遍，内容在语义上毫无约束地漂移。

不解决会怎样？两件坏事同时成立。其一，质量上限被钉死：人眼对时间不连贯远比对单帧画质敏感——一帧里多一根手指可能没人注意，但沙发花纹每帧都在变，小孩都看得出来。其二，成本上限被钉死：视频的像素数是 帧数 × 高 × 宽，同一个模型搬到视频上算力按乘积涨，没人付得起。本章要解决的本质问题因此是：在一个爆炸的算力预算里买到时间一致性。

核心内容，讲透

为什么「逐帧生成 + 插帧」救不了

一个必须先划清的区分：插帧只能把已经一致的运动补得更顺，它的前提假设是相邻两帧本来就是同一个场景的两个瞬间。而逐帧独立生成的失败不是「不够顺」，是语义漂移——第 40 帧的猫和第 41 帧的猫压根不是同一只猫，插出来的中间帧只会是两只猫的糊状混合。判据很朴素：插帧是一种平滑，救得了抖动，救不了「换了个东西」。

结论因此很硬：时间必须进入生成过程本身，而不是接在它后面。

把 2D 模型「充气」成 3D：分解的时空注意力

主流做法叫充气（inflation）：拿一个训练好的文生图模型（第 8、9 章那套潜空间 U-Net 或 DiT），保留全部空间层不动，在每个块里插入新的时间层——沿着「同一空间位置、不同帧」这条轴做卷积或注意力。好处很直接：画质与提示词服从度原样继承，新增参数只学「怎么动」这一件事，所需的文本-视频配对数据因此少得多——这恰好补上视频数据远比图文稀缺的短板。

为什么不干脆做全 3D 注意力？成本。设一段视频在潜空间里是 T 帧、每帧 S 个 token：整段拍平做一次全注意力，要算 (T·S)² 对关系；拆成「帧内空间注意力 + 跨帧时间注意力」则是 T·S² + S·T² 对。代入一个现实量级——T=21、S=1024——前者约 4.6 亿 对，后者约 2250 万 对，差 20 倍。这 20 倍，就是今天绝大多数视频模型采用分解式结构的全部理由。

代价必须讲诚实：分解意味着一个 token 没法在一步里同时看到「别的位置 + 别的时刻」，长程时空关联只能靠多层堆叠间接建立。所以分解式模型最容易在「大幅运镜」「物体快速横穿画面」这类需要同时挪位置又挪时刻的场景上露馅——这正是后来「把时空一起切成 patch、直接做全注意力」那条路线（Sora 是代表）的动机。

时间也要压：视频 VAE 与那个不起眼的「+1」

第 8 章已经把去噪搬进潜空间——画面先被自编码器在空间上压缩若干倍，去噪在压缩图上做完再解码。视频要再压一个维度：时间。典型做法是因果 3D 自编码器：空间压 8×8、时间压 4×，合起来把视频压到原来的 1/256 量级（通道数另算）。没有这一步，级联和长上下文都无从谈起。

一个能记住的细节：智谱 CogVideoX 的官方仓库把可生成帧数写死成 8N+1（5B 版）或 16N+1（1.5 版，默认 81 帧）。那个 +1 不是凑数——它来自首帧被单独编码、其余帧按固定倍率成组压缩的因果设计：首帧必须能独立还原，「给一张图、续成一段视频」这种最常见的用法才成立。接口上一个看起来莫名其妙的约束，背后是自编码器的结构。

级联：最难的那步，只在最小的画布上做一次

这是整章最该带走的工程结构。与其在目标分辨率、目标帧率上跑完整个去噪，不如拆成一条接力：

• 基础模型：在低分辨率、低帧率上生成「骨架」——内容、构图与大致运动都在这一步定下来，最难、最贵；
• 时间超分：把帧数补上去（插入中间帧）。这一步只需保证局部连贯，任务简单得多；
• 空间超分：把每帧放大。这一步几乎不需要理解语义。

为什么划算：算力大致正比于 帧数 × 边长²。把最贵的完整去噪放在帧数与边长都最小的画布上做一次，后两级虽然面积大，但模型可以做得浅、步数可以少。Google 的 Imagen Video（2022）就是一个基础模型串起一连串交替的时间 / 空间超分模型；今天 Vertex AI 把「放大到 1080p / 4K」做成与生成分离的独立能力，正是同一结构在产品层的投影。

代价同样明确：级联是一条误差会累积的流水线——基础模型给错的运动，后面两级只会把它放大得更清楚；而且多套模型要各自训练、各自部署、各自监控，端到端调优几乎不可能。

长视频：一次生成不了，就接着写

上面这套的产物通常只有几秒。要更长，书里给的主路是自回归续写：拿已生成片段的末尾若干帧当条件，生成下一段。Stability AI 的官方仓库把这个量级写得很直白：Stable Video Diffusion 基础版「trained to generate 14 frames」，XT 版「finetuned for 25 frame generation」——十几到二十几帧，按常用帧率也就两三秒，更长的全是接出来的。

接的代价是漂移（drift）：每段都以上一段的输出为输入，误差沿链累积，颜色、光照、人物身份缓慢跑偏；而且续写天然串行，加卡也并行不掉。缓解手段是每段都重新注入全局条件（提示词嵌入、首帧、参考图），让每段锚回同一个源头，而不是锚回上一段。

关键权衡与选型

这一章的灵魂是「在算力和一致性之间怎么买」——三条路线，没有一条免费。

表 1 · 三条生成路线怎么选

表 2 · 想要更长的片子

选型可以压成一句：如果你的场景是「几秒钟、可预览、可重生成」，级联 + 定长片段几乎总是对的；只有当「一镜到底、机位大幅移动」本身是核心卖点时，才值得去付全时空注意力那笔账。这和文生图的选型逻辑完全不同——那里的主要变量是画质与服从度，这里的主要变量是一致性能撑多久。

为什么重要 / 落到真实系统

产品形态几乎被算力决定了。视频生成基本都是异步任务——提交、排队、轮询、取件。这和文生图（同步等几秒）是两种后端：你需要任务队列、可抢占的 GPU 调度、可恢复的作业状态，以及「先出低分辨率预览、用户确认后再出成片」的两段式交付，因为一次重生成的代价是按 GPU 分钟计的。

成本是设计约束，不是事后账单。对外按秒计价已是常态；训练侧，开源项目 Open-Sora 把 11B 模型的训练成本公开标成 $200K——这个数字的意义不在于便宜，而在于它把「能不能训」变成了一道能算清的预算题。

安全与合规比图像更紧。提示词侧过滤 + 输出侧检测 + 来源标注（水印 / C2PA）三件套缺一不可：动起来的伪造在可信度上远超静态图，肖像与版权风险因此不在一个量级。

生成完只是开始。成片还要转码成多码率、走 CDN 分发——这部分和普通点播系统没有区别，却常被设计题漏掉。

易错点与争议

• 以为插帧能救闪烁。 插帧是一种平滑，只对「本来就连贯、只是不够顺」有效。逐帧生成失败在语义漂移上，插出来的只会是两个不同东西的糊状过渡。
• 把 FVD 当裁判。 FVD 比的是特征分布距离，对小幅但刺眼的时间伪影（闪烁、抖动）并不敏感，还对样本量与预处理高度敏感。分数漂亮和人看着舒服，经常是两回事——本章的评估小节最终仍落在人评上。
• 只看 CLIP 分就以为「听话」。 CLIP 分逐帧算文本-画面相似度，它完全不看时间：一段每帧都贴合提示词、但动作乱七八糟的视频，CLIP 分可以很高。
• 把「更长」当核心指标。 产品上「定长 4–8 秒 + 可控续写」往往比「一次性 60 秒」更有用，因为用户真正要的是可重来，而重来一段 60 秒的代价没人愿意付。
• 忘了数据这道老坎。 高质量的文本-视频配对远少于图文对，很多标注是自动生成的字幕，噪声直接变成「提示词跟不住」。这也是「保留图像模型、只训时间层」这条路线的根本动机。
• 时代局限与争议。 本章成书于 2024 年，当时主流是 U-Net + 分解注意力 + 级联；此后算力上来，「时空 patch + 长上下文全注意力 + 音画同出」成了新默认，级联层数在减少。更大的争议是：这些模型学会的是物理，还是「看起来像物理的像素统计」——罕见物理交互下的失败仍然常见。

要点