由上海交通大学、上交生成速度西安交通大学与华为联合研发的大西大华最新成果，于2026年6月30日以预印本形式发布（论文编号：arXiv:2606.29215v2）。安交这项研究通过重构扩散语言模型的为让文字推理流程，成功解决了长期困扰AI生成速度的再翻“串行等待”难题，为大规模AI部署提供了高效的流水解决方案。
引言：从“打字员”到“流水线”的线革范式转变
当用户向AI助手提问或要求生成代码时，传统的上交生成速度自回归模型（如ChatGPT早期版本）如同打字员，必须逐字生成，大西大华前一个字确定后才能生成下一个。安交这种串行机制虽然稳定，为让文字但存在明显的再翻速度天花板。
相比之下，流水扩散语言模型（Diffusion Language Models）采用“去噪”思路：先生成包含大量噪声的线革完整文本，再逐步去除噪声直至清晰。上交生成速度这种机制天然支持并行处理，理论上能大幅提升生成效率。然而，现有技术在部署时仍面临“块间串行”的瓶颈——即处理完一个文本块（Block）并存档后，才能开始下一个块的处理，导致GPU算力闲置。
本研究提出多块扩散语言模型（Multi-Block Diffusion LMs, MBD-LMs），通过打通流水线，实现多个文本块的并行处理。实验显示，在数学推理和代码生成任务中，该方法在保持生成质量不变的前提下，每步前向计算的有效词数提升约 78%，整体吞吐量显著增加。
一、痛点解析：流水线上的“存储气泡”
1. 现有块扩散模型（BD-LM）的局限
现有BD-LM将文本切分为若干“块”，每次仅处理当前块。处理完成后，需将结果写入KV缓存（Key-Value Cache）以加速后续计算。这一“存档”过程耗时较长，期间模型无法进行任何计算，形成了一段无效的空窗期，研究团队称之为“存储气泡”（Storage Bubble）。
2. 多块并行的核心思路
MBD-LM引入“运行窗口”概念，窗口内同时容纳多个处于不同处理阶段的块。当第N块正在存档时，第N+1块已在预热处理。通过这种重叠操作，消除等待空隙，使流水线始终满载。
3. 核心挑战：训练与推理的错位
实现多块并行的最大障碍在于分布偏移。传统模型仅在训练时见过“前缀清晰、当前块去噪”的场景，从未见过“窗口内多块同时存在噪声”的情况。若直接部署，模型因缺乏相关训练数据，生成质量将大幅下降。
二、为何现有方案不足？D2F的局限性
此前，学界尝试使用离散扩散强迫（Discrete Diffusion Forcing, D2F）来模拟多块场景，但存在两大关键错位：
- 窗口大小错位：D2F训练时往往引入整个后缀序列，窗口极大；而实际推理中，活跃窗口通常仅包含2-3个块。这种规模差异导致模型无法适应受限窗口。
- 噪声分布错位：D2F采用单调递增的噪声调度，相邻块间的噪声差异极小。而真实推理中，前一块已接近清晰，后一块仍高度模糊，两者噪声落差巨大。
数据表明，D2F诱导的噪声分布高度重叠，导致模型混淆，生成质量显著低于真实推理场景。
三、核心创新：多块教师强迫（MultiTF）训练策略
为解决上述错位，研究团队提出多块教师强迫（Multi-Block Teacher Forcing, MultiTF）后训练方法，旨在让模型在训练中“排练”真实的推理场景。
1. 噪声组构造：系统化与随机化结合
- 系统化布局：按固定间隔枚举所有可能的块组合，确保覆盖所有有界窗口状态。
- 随机化布局：随机决定组大小和边界，增加训练数据的多样性。
- 互补效应：两者结合既保证了覆盖的完整性，又提供了分布的鲁棒性。
2. 链式均匀噪声调度器（Chain-wise Uniform Noise Scheduler）
这是MultiTF的核心机制。对每个噪声组：
* 设定一个基础噪声“地板”。
* 第一块在地板与上限间随机取值。
* 该取值成为第二块的新“地板”，依此类推。
* 效果：产生大且随机的相邻块噪声落差，精准模拟真实推理中“前清后糊”的状态差异。
3. 组感知双流注意力掩码
- 组内可见：噪声块间可互相参考。
- 组间隔离：噪声组仅能看见已存档的前缀块，保护因果结构。
- 损失计算：仅在噪声序列被掩盖的位置计算交叉熵损失，确保模型专注于去噪能力。
4. 理论保证
研究团队证明，通过系统化偏移布局，MultiTF能确保推理窗口中出现的每一种有界连续块组合在训练中至少出现一次，从而在理论上缩小了训练分布与推理分布的差距。
四、推理引擎：块缓冲区与CUDA图优化
训练好的模型需配合高效的推理引擎才能发挥性能。
1. 块缓冲区（Block Buffer）机制
为解决GPU对动态输入形状的不兼容问题，设计固定大小的块缓冲区：
* 固定槽位：缓冲区包含固定数量的槽位，状态依次为：空闲、活跃、待存档、已存档。
* 静态形状：新块进入时激活已有空闲槽，而非延长序列。完成存档后，缓冲区滑动并补充新空闲槽。
* CUDA图加速：由于物理输入长度恒定，可利用CUDA图捕获并回放计算图，极大降低运行时开销。
2. 前缀缓存兼容
已存档块的KV状态保留在前缀缓存中，后续计算直接复用。该接口与传统BD-LM完全兼容，可继承现有的系统优化成果。
3. 动态阈值控制
- 激活阈值：仅当前一块完成进度超过阈值时，才激活下一块，防止质量波动。
- 半完成阈值：允许后一块参考前一块的最优预测状态，进一步减少等待时间。
五、实验结果：速度与质量的双重飞跃
研究在GSM8K、MATH500（数学推理）及MBPP+、HumanEval+（代码生成）四个基准上进行了全面评测。
1. LLaDA2-Mini 模型表现
- 有效词数提升：从单块推理的 3.47提升至 6.19（增幅 78%）。
- 准确率提升：从 79.95%提升至 81.03%。
- 对比基线：未经MultiTF训练的多块推理虽提升有效词数至4.41，但准确率跌至78.59%。MultiTF证明了“训练-推理对齐”对维持质量的关键作用。
2. 与DMax技术的叠加效应
结合DMax（Token级加速技术）后：
* 有效词数：达到 9.34（较单块提升47%）。
* 吞吐量：每秒处理词数从779.50提升至 926.67（增幅 19%）。
* 准确率：仅下降约1个百分点，实现高效低损。
3. 延迟与吞吐量分析
- 单步延迟：从7.07ms增至8.78ms（增加24%）。
- 实际吞吐量：由于有效词数增幅（78%）远大于延迟增幅（24%），实际吞吐量提升约 44%。
- SDAR系列迁移性：在SDAR-8B-Chat上，块大小为32时有效词数提升超75%；即使块大小仅为4，有效词数也提升近一倍。
六、消融实验：验证设计要素的必要性
1. 布局策略互补性
- 单独使用：系统化布局或随机布局均能提升速度，但准确率略有下滑。
- 结合使用：有效词数达9.87，准确率恢复至84.59%（接近单块基准84.67%），验证了两者互补的重要性。
2. 噪声调度器对比
- D2F单调调度：准确率暴跌至79.34%，证明单调小落差无法模拟真实场景。
- 链式均匀调度：准确率84.59%，显著优于独立随机采样（83.14%）和排序均匀采样（81.28%），证实了“主动扩大相邻块噪声差距”的有效性。
七、效率分析：从理论到实践的闭环
研究团队建立了吞吐量增益的理论模型：
$$ \text{吞吐量增益} = \frac{\text{有效词数增益}}{\text{单步延迟增益}} $$
以LLaDA2-Mini为例：
* 有效词数增益：1.78倍
* 延迟增益：1.24倍
* 理论吞吐量增益：$1.78 / 1.24 \approx 1.44$ 倍
该理论值与实测值（1.44倍）完全吻合，证明了模型对系统行为分析的准确性。
总结
这项研究通过MultiTF训练策略和块缓冲区推理引擎，将扩散语言模型的生成模式从“串行等待”转变为“并行流水线”。它无需修改模型架构，仅通过后训练和系统优化，便将“存储气泡”转化为实际产出。
- 对用户：更快速的数学解题与代码生成体验。
- 对开发者：更高的算力利用率与更低的并发服务成本。
尽管目前实验窗口大小限制在2-4块，但随着模型规模扩大，这一范式为未来高效AI推理奠定了坚实基础。
Q&A
Q1：多块扩散语言模型（MBD-LM）与普通扩散语言模型有何本质区别？
A：普通扩散模型采用串行处理，即“完成一块、存档、再处理下一块”，中间存在因存档导致的等待空隙（存储气泡）。MBD-LM通过维护一个滑动窗口，允许多个块同时处于不同的处理阶段（如前一块存档时，后一块已在去噪），从而消除等待时间，实现并行处理，显著提升吞吐量。
Q2：为什么不能直接用现有的D2F训练方法来替代MultiTF？
A：D2F训练时通常引入整个后缀序列，且噪声比例单调递增，导致相邻块间的噪声差异极小。这与真实推理中“窗口有限”且“相邻块噪声落差大”（前清后糊）的场景严重不匹配。MultiTF通过有界噪声组和链式均匀噪声调度，使训练分布与推理分布高度对齐，因此在生成质量上显著优于D2F。
Q3：块缓冲区机制是如何解决GPU计算效率问题的？
A：块缓冲区预先分配固定数量的槽位。新块进入时，激活已有的“空闲”槽位，而非动态延长输入序列；完成处理的块转入缓存后，在末尾补充新的空闲槽。这种设计确保了每次前向计算的输入形状（Shape）始终保持固定，从而能够被CUDA图（CUDA Graph）一次捕获并反复高效回放，避免了动态形状带来的巨大运行时开销。