过去两年，视频生成最显眼的变化是分辨率更高、运动幅度更大、控制方式更多。但如果只按产品名称或演示效果罗列，很难看出技术究竟进步在哪里。理解这轮演进，更有效的方式是沿着一段视频在模型中的完整旅程展开：它如何被压缩，如何从噪声中形成，如何接受文本和图像控制，又为何在时间变长后迅速变难。

本文讨论的是研究与开源实现中相对稳定的技术脉络，不做商业模型排行榜。价格、配额和产品能力会频繁变化；即使两个产品都声称支持“720p、5 秒”，帧率、后处理、生成次数与评测提示词也可能不同，不能直接据此比较优劣。

一段视频在模型眼中是什么

视频可以写成一个四维张量：

\[X \in \mathbb{R}^{T \times H \times W \times C}\]

其中 $T$ 是帧数，$H$ 和 $W$ 是画面尺寸，$C$ 通常是 RGB 三个颜色通道。5 秒、24 fps 的视频包含 120 帧；若分辨率是 1280×720，直接让 Transformer 处理全部像素，序列长度和显存开销都会非常大。

因此，大多数现代系统不会直接生成像素，而是先用 Video VAE 将视频压缩成时空潜变量（latent）：

\[z = E(X), \qquad \hat{X} = D(z)\]

$E$ 是编码器，$D$ 是解码器。可以把潜变量理解为保留主要结构与运动的“压缩分镜”：生成主干只在较小的 $z$ 上工作，最后再由解码器恢复成视频。

假设 VAE 在时间、高度和宽度方向的压缩倍率分别是 $4, 16, 16$，原来的 120×720×1280 会变成大约 30×45×80 个时空位置。主干需要处理的网格小了很多，但压缩也会丢失信息。小字、手指、快速旋转、细密纹理，往往比缓慢移动的大物体更难重建。这解释了为什么“换一个更强的生成主干”并不能自动解决所有画面瑕疵：瓶颈有时在 VAE。

从噪声到视频，而不是逐帧作画

主流系统通常使用视频扩散模型或 flow matching 模型。两者训练目标的表述不同，但推理过程都可以粗略理解为：从一个简单的噪声状态出发，多次调用神经网络，逐步靠近有结构的视频潜变量。

一条典型的数据流如下：

文本 / 首帧 / 参考图 / 音频 / 姿态
                 │
                 ▼
          条件编码器产生 token
                 │
噪声 latent ──► 时空 DiT / Transformer ──► 更新后的 latent
                 ▲                         │
                 └──── 重复若干采样步 ─────┘
                                           │
                                           ▼
                                    Video VAE 解码
                                           │
                                           ▼
                                        视频帧

这里有两个容易混淆的“时间”：

  • 视频时间是第 1 帧到第 120 帧的顺序，决定物体如何运动。
  • 采样时间是从高噪声到低噪声的一系列求解步骤，决定生成过程如何逐渐收敛。

Wan2.2 的 MoE 设计正是按第二种时间进行分工：高噪声阶段的专家偏向整体布局，低噪声阶段的专家负责细节。它不是让不同专家分别生成不同视频帧。这个例子也说明，阅读模型说明时必须先问清楚“时间步”指的是视频帧，还是扩散/流模型的求解步。

视频比图片多出来的困难

如果只追求单帧观感，模型可以把每一帧都画得很精致；但一段好视频还要满足跨帧约束。

身份和状态要持续存在

人物转身后，服装颜色不能改变；杯子被拿起后，下一镜不能又出现在桌上。模型不仅要知道每帧“看起来像什么”，还要隐式维护世界状态。视频越长，需要记住的状态越多，早期小错误也越容易累积。

运动不是帧间插值

合理运动包含速度变化、惯性、遮挡与重新出现。把两张清晰图片平滑插值，只能得到像素连续，不等于动作符合物理规律。快速运动尤其困难，因为相邻帧之间的对应关系更弱，训练数据中的运动模糊和镜头剪辑还会增加歧义。

文本只给出了不完整约束

“一只猫跳上桌子”没有说明猫从哪边进入、桌子多高、镜头是否跟随。模型必须从训练分布和随机噪声中补全这些细节。因此同一提示词生成多个样本是正常现象，单个演示不能代表稳定能力。

计算量随时空 token 增长

若对 $N$ 个时空 token 使用全局自注意力，注意力矩阵包含 $N^2$ 个关系。增加帧数不仅增加输入长度，还可能以更快速度增加注意力开销。实际系统会采用窗口注意力、稀疏注意力、时空分解、序列并行或分块计算，避免把完整矩阵一次放进显存。

2025—2026 年的几条主线

更强的时空压缩

提高 VAE 的时间和空间压缩率，可以直接缩短主干看到的 token 序列。Wan2.2 的开源说明中，TI2V-5B 使用了时间×高度×宽度为 4×16×16 的 VAE 压缩；这类设计让高分辨率生成更可行，也把更多压力放到了重建质量上。

衡量这类进步不能只看压缩倍率。至少还要检查：

  • 静态细节能否被准确重建；
  • 快速运动是否出现重影或闪烁；
  • 编码和解码本身占用多少显存与时间；
  • 不同分辨率、宽高比和帧数是否都能稳定工作。

DiT 成为通用生成主干

视频 Diffusion Transformer（DiT）把潜变量切成时空 patch，再用 Transformer 建模。相比固定卷积结构，它更容易扩展模型容量、接入文本 token，并复用大模型领域成熟的并行与注意力优化。

但“用了 Transformer”并不意味着模型结构相同。差异可能来自：

  • 空间和时间是一起注意，还是分开处理；
  • 文本通过 cross-attention、联合序列还是其他方式注入；
  • 是否采用 3D 位置编码；
  • 是否在不同噪声阶段使用不同参数或专家；
  • 图像、视频和不同控制任务是否共用一套主干。

因此，比模型参数量更值得关注的是实际激活参数、latent 长度和每个采样步的计算量。

从单一条件走向统一控制

文本到视频只给模型语义条件；图像到视频则用首帧或参考图约束外观。进一步的控制还包括姿态、深度、相机轨迹、人物身份和音频。

这些条件解决的问题并不相同：

条件 主要约束 仍可能失败的地方
文本 物体、动作、风格 空间关系和精确时序
首帧/参考图 外观、构图、身份 遮挡后的身份恢复、运动幅度
姿态/轨迹 动作骨架或运动路径 纹理稳定性、物理交互
音频 节奏、语音、口型 情绪、环境声、长时同步
相机路径 镜头运动 被摄物体自身的合理运动

控制越多并不一定越好。多个条件可能互相冲突，例如参考图要求正脸，姿态视频却长期背对镜头。成熟的系统需要定义条件优先级、缺失条件处理方式以及冲突时的退化行为。

少步生成与缓存加速

生成耗时大致与“每步计算成本 × 采样步数”相关。提高 VAE 压缩率和优化注意力是在降低每步成本；蒸馏、一致性训练和更好的 ODE 求解器则试图减少步数。

不能把任意 40 步 checkpoint 的配置直接改成 4 步，就期待得到相同质量。少步模型通常需要专门训练或蒸馏，因为原模型学习到的是特定噪声轨迹上的预测任务。缓存方法也有边界：相邻采样步的特征虽然相似，却并不完全相同，复用比例过高会造成误差累积。

到 2026 年，高效视频扩散研究通常可归入四类：采样步蒸馏、高效注意力、模型压缩，以及缓存/轨迹优化。真实系统往往组合多类方法，因此评测时需要逐项消融，否则无法判断收益来自哪里。

长视频转向分层生产

“能输出更多帧”与“能讲完整故事”是两项能力。一次性扩大时间窗口会增加计算量，但不会自动获得角色记忆、镜头规划和因果一致性。

更现实的长视频流水线通常是：

  1. 将脚本拆成镜头，明确每个镜头的主体、动作、地点和时长；
  2. 生成关键帧或角色参考，固定造型与美术风格；
  3. 分镜头生成短视频，并将前一段状态作为后一段条件；
  4. 对转场、身份、色彩和运动连续性做后处理；
  5. 最后完成插帧、超分、声音和剪辑。

这种方式看似“不够端到端”，却更容易控制和排错。某个镜头失败时可以单独重试，而不必重新生成整段视频；角色信息也能通过显式资产管理，而不是完全依赖模型的长上下文记忆。

评测时究竟在测什么

视频质量不是一个单一分数。VBench 将其拆成多个维度，本质上是在避免“画面清晰”掩盖运动或语义问题。实际项目可以至少保留以下五类指标：

  1. 文本遵循：主体、数量、动作和场景是否与提示词一致；
  2. 主体一致性：人物和物体跨帧是否保持身份与外观；
  3. 运动质量：动作是否连贯，是否有冻结、抖动和非物理变形；
  4. 视觉质量：清晰度、纹理、构图和压缩伪影；
  5. 系统成本：端到端延迟、峰值显存、失败率与重试次数。

自动指标适合大规模筛查，人评仍然不可替代。以 CLIP 相似度为例，它可以判断视频与文本在语义上是否接近，却很难可靠判断“一只手是否多出手指”或“杯子落地后是否又回到桌上”。

一个可复现的比较不应只展示最佳样本。更合理的实验是固定 20—50 条提示词，每条使用多个随机种子，并保存以下信息：

model_and_checkpoint: ...
code_commit: ...
prompt: ...
negative_prompt: ...
seed: ...
resolution: ...
frame_count: ...
fps: ...
sampler_and_steps: ...
guidance_scale: ...
precision: ...
gpu_and_count: ...
latency_and_peak_vram: ...

提示词还应覆盖不同失败模式：单人近景、多主体交互、快速运动、相机运动、文字、遮挡与长镜头。否则，模型可能只是恰好擅长测试集中的“风景慢镜头”。

如何阅读新的模型发布

面对一个“速度更快、质量更高”的新模型，可以按下面的顺序拆解：

  1. 先看任务定义：文本到视频、图像到视频、人物驱动和音频驱动不能混为一谈；
  2. 再看输出条件：分辨率、帧率、帧数和宽高比是否相同；
  3. 定位改进层：VAE、生成主干、条件编码、采样器还是后处理；
  4. 核对计算口径：总参数、激活参数、采样步数、GPU 型号和并行规模；
  5. 检查评测来源：作者自建基准、公开基准和盲测人评的可信边界不同；
  6. 寻找失败案例：复杂手部、多物体接触、文字和遮挡后的身份恢复通常更有信息量。

这样阅读后，一次发布就不再只是一个总分或一段演示，而能被还原成若干可验证的工程变化：是压缩了 token、减少了采样步，还是增强了条件控制；收益又是否以画面细节、稳定性或硬件要求为代价。

小结

2025—2026 年的视频生成并没有靠单一突破解决全部问题。更强的 Video VAE 缩短时空序列，DiT 提供可扩展的生成主干，MoE、蒸馏、缓存与并行降低生成成本，多模态条件增强可控性；而长视频则逐渐从“单次生成更多帧”转向分镜、资产和状态共同管理的生产流程。

真正理解一个系统，需要始终追踪三件事：模型处理了多少时空 token，每个 token 经历了多少次网络计算，以及跨帧状态由谁维护。分辨率、速度和演示效果，最终都能回到这三个问题上解释。

参考资料