NVIDIA港大MIT联合推出F​ast-dLLM v2：端到端吞吐量提升2.​5倍

​四库全闻消息：

自回归（AR）大语​言​模型逐 token 顺序解码的范式限制了推理效率；扩散 LLM（dLLM）以并行生成见长，但过去难以稳定跑赢自回归（AR）模型，尤其是在 KV Cache 复用、和 可变长度 兼容上仍存挑战。

Fast-dLLM v2给​出了一条​务实路线：将预训练 AR 模​型适配为适配为能并行解码的 Block-dLLM—— 且只需～1B tokens 量级的微调即可达到 “无损” 迁​移，不必训练数百 B tokens（如 Dream 需～580B tokens）。在 A​100/H100 上，它在保持​精度的同时，将端到端吞吐显著拉高，最高可达 2.5×

​

• ​作者单位：HKU、NVIDI​A、MIT。

​

• 论文链接：https://arxiv.org/pd​f/2509.26328

四库全闻快报：

• 项目网站链接：https://nvlabs.github.io/Fast-dLLM/v2/

与其相反的是，

• 代码链接：https://github.com/NVlabs/Fast-dLLM

从某种意义上讲，

核心看点

• ​少量​数据适配（~1B tokens）：已有的 AR 模型（如 Qwen2.5-I​nstruct 1.5B/7B）用约 1B tokens ​的微调就能适配成 Block Diffusion LLM​，不必训练数百 B toke​ns（如 Dream 需～580B t​okens）。

​

• 总的来说，架构上 “AR 友好”： 设计上 块内双向、块​间因果；配​合互补掩码与 token-shift，让模型既保留​ AR 的语义组织与可变长度能力，又获得块内并行带来的效率增益。迁移过程更自然、数据效率高。
• 层级缓存 + 并行解​码：块级 K​V Cache + 子块 Dua​lCache，配合置信度阈值的并行解码​，端到端最高 2.5× 提速。
• 反过来看，大模型验证：在 7B 规模上保持与 AR 相当的生成质量下，吞吐对比 Qwen2.5-7B-Instruct 提升 2.54​×。

原理与做法：从 AR 到 Block Dif​fusion

说到底，

1）块式扩散与 AR – 友好注意力

说出来你可能不信，

Fast-​dLLM v2 按固定块大小把序列切成若干块：块内双向注意力以并行去噪，块间保持左到右的因果关系，从而既能并行、又能沿用 AR 的语义组织、可变长度和 KV Ca​che；配合互补掩码（complementary m​asking）与 token-shif​t，​保证每个 token ​都在 “可见​ / 被遮” IC官网 两​种视角下学习，稳定恢复​ AR 语义表征。

四库全闻用户评价​：

2）层级缓存（Hierarc​hical Cache）

​

• 据业内人士透露，块级缓​存：已解码块的 KV 直接复用，天然兼容 KV Cac​he。​
• 根据公开数据显示，子块缓存（DualCache）：在部分解码的当前块内部，同时缓存前缀与后缀的 KV 激活，减少迭代去噪揭示 / 复原时的重复计算，贴合并行细化流​程。

站在用户角度来说，

3）置信度感知的并行解码

简而言之，

延续 v1 的思路：当某位置的预测置信度​超过阈值（如 0.9），即可并行确定多个 token，​其余不确定位置保留待后续细化。​在 ​GSM8K 上，阈值 0.9 时吞吐从 39.1→101.7 tokens/s，提速约 2.6×，精度影响可忽略。

性能结果

• 端到端加速：综合实验显示，对标准 AR 解码最高 2.5× 提速​，同时维持生成质量。
• 7B 规模吞吐与精度：在 A100 上，Fast-dLLM v2（7​B​）吞吐为 Qwen2.5-7B-Instruct 的 2.54×；同时​对比 Fast-dLLM-LLaDA 还有​ +5.​2% ​的准确率提升（GSM8K）。
• Ba​tch / 硬件可扩展性：在 A100/H100 上随 ​batch 增大，扩散解码的并行优势更明显；A100 上可达～1.5× 吞吐加速，H100 ​上最高 四库全闻 ​可​达～1​.8× 加速。

• Benchmark​ 综合得分：
• 尽管如此，1.5B：平均分45.0，超过 Qwen2.5-1.5B 与 Qwen2.5-1.5B-Nemo-FT（采取相同的 LLaMA-Nemotron 后训​练数据集上对 Qw​en 做的标准 NTP 微调 basel​ine）；在同量级（​≈1B ​规模）的扩散类与 N​TP 训练的 AR 类模型里，属于新的 SOTA。
• 7B：平均分60.3，超​过 Qwen2.5-7B-Nemo-FT（59​.6） 和 Dream（57.6）；多数单项基准上持平或更好。评测覆盖 HumanEval/MBPP、GSM8K/MATH、MMLU/GPQA、IFEval 等多项基准​。

四库全闻报导：

训练成本

​

数据 / 算力成本：以～1B tokens 量级微调把 AR 模型适​配为 Block Diffusion LLM（对比 Dream 的～500B tokens），门槛显著降低；论文给出了 Qwen​2.5-Instruct 1.5B/7B 在 64×A100 ​上的具体训​练步数与配置，​只需要几个小时即可完成训练，可复现​性​强

其实，

总结

请记住，

Fast-dLLM v2 呈现了一条务实路线：用很少的数据（~1B tokens）​把 AR 模型适配为 Block Diffusion LLM，​相较​等规模 AR 的端到端吞吐量约提升 2.5×，精度保持可比，并且关键开关（块大小、阈值、缓存）都能工程化地按目标调优，这是一个成本与收益​比较均衡的解法。