Nemotron-Labs-Diffusion是什么

NVIDIA最新推出的Nemotron-Labs-Diffusion，本质上是一个“三栖”语言模型。

它在同一个架构里，同时整合了自回归、扩散和自我推测解码三种能力。

模型通过联合AR-扩散目标进行训练，可以在不同并发场景下自由切换模式。

始终保持高吞吐量是它的核心优势。

目前这个系列包含3B、8B和14B三个参数量级的版本，每个都有基础版、指令版和视觉语言版。

从准确率和速度两个维度看，它在现有开源的AR和扩散语言模型中都属于第一梯队。

Nemotron-Labs-Diffusion的主要功能

• 三模式解码切换：AR、扩散、自我推测三种解码模式。核心差异在于注意力模式，切换起来非常干净利落。
• 块级扩散并行生成：把序列切成块，在块内实现双向并行解码。单次前向就能生成多个token。
• 自我推测草稿验证：扩散模式负责并行生成多个token作为“草稿”。AR模式在同一模型内进行验证。共享KV缓存，不需要额外的预测头。
• 视觉语言理解：视觉语言模型变体可以理解图像并完成图文推理。多模态的边界被进一步拓宽。
• 高效推理部署：支持FP8低精度格式，配合SGLang框架在GB200 GPU上实现高吞吐量服务。

Nemotron-Labs-Diffusion的技术原理

技术层面，有几处设计非常关键。

联合AR-扩散目标训练

这是模型的根基。模型同时优化自回归的next-token损失和块级扩散的去噪损失。通过加权组合（α=0.3）找到平衡。

AR目标为扩散提供了从左到右的语言先验。这样扩散训练就不会在任意token排列上浪费容量。反过来，扩散目标又增强了模型的前瞻规划能力，一石二鸟。

两阶段训练策略

第一阶段只用AR目标预训练，帮模型建立稳固的左到右语言归纳偏置。第二阶段才开启联合训练，让扩散梯度进来补充，实现两种目标的和谐共处。

结构化注意力模式

这是保证双目标可行性的关键。训练时使用双流输入：噪声流中的token在块内做双向注意力，跨块做因果注意力，同时关注干净流里已生成的前缀。干净流则保持严格的因果掩码。这样一来，AR目标和扩散目标可以在同一次前向-反向传播中联合计算。

全局损失平均

这个方法解决了扩散目标中梯度方差的问题。因为不同样本的噪声token数量不一样，如果按常规求平均，少数高权重的噪声样本会不成比例地影响批次梯度。所以直接按批次中所有token平等加权，简单粗暴但有效。

最优采样与LoRA增强

扩散模式配合基于采样轨迹优化的采样器来提升并行度。自我推测模式还可以加一个LoRA草稿适配器，增强草稿质量，进一步提高接受率和实际设备效率。

如何使用Nemotron-Labs-Diffusion

• 安装依赖：运行 pip install "transformers>=5.0" torch peft 等命令，准备好Python和GPU环境。
• 获取模型：从HuggingFace拉取 nvidia/Nemotron-Labs-Diffusion-8B 等模型权重以及对应的分词器。
• 选择模式：根据并发水平选择——高并发用AR模式、最大化并行用扩散模式、低延迟场景用自我推测模式。
• 运行脚本：使用 chat_ar.py、chat_dlm.py 或 chat_linear_spec.py 等官方脚本进行单轮或多轮对话。
• 服务部署：基于SGLang框架启动推理服务，配置Linear Self-Speculation与FP8精度，可以接入生产环境。

Nemotron-Labs-Diffusion的核心优势

• 三模式统一架构：单一模型同时掌握AR语言先验与扩散并行规划能力，不用再维护多套模型和管线。
• 吞吐量显著提升：8B模型单次前向解码的token数能达到Qwen3-8B的6倍，在GB200上SPEED-Bench吞吐量提升4倍。
• 自我推测优于MTP：自我推测模式的接受率和实际设备效率都比多token预测（MTP）方法更高。
• 双目标和谐训练：全局损失平均与两阶段策略有效平衡了双目标梯度，避免了模式间的容量竞争。
• 场景自适应切换：通过切换注意力模式就能适配云侧高并发和端侧低并发场景，不需要改造架构。

Nemotron-Labs-Diffusion的项目地址

• HuggingFace模型库：https://huggingface.co/collections/nvidia/nemotron-labs-diffusion
• arXiv技术论文：https://arxiv.org/pdf/2607.05722

Nemotron-Labs-Diffusion的同类竞品对比

• 实时对话助手：低并发场景下用自我推测模式，实现低延迟交互式AI对话，提升用户体验。
• 云推理服务：AR模式适配高并发批量请求，充分利用GPU计算密度，降低云端部署成本。
• 代码与数学推理：扩散模式增强前瞻规划，适合需要多步逻辑推导的编程辅助和数学求解任务。
• 端侧本地推理：8B模型可以在个人设备运行，三模式切换适配不同负载，保障数据隐私。
• 视觉语言应用：视觉语言模型变体支持图像理解与图文问答，适用于智能文档分析与多模态交互。

Nemotron-Labs-Diffusion的应用场景

• 实时对话助手：低并发场景下使用自我推测模式，实现低延迟交互式AI对话，提升用户体验。
• 云推理服务：AR模式适配高并发批量请求，充分利用GPU计算密度，降低云端部署成本。
• 代码与数学推理：扩散模式增强前瞻规划，适合需要多步逻辑推导的编程辅助和数学求解任务。
• 端侧本地推理：8B模型可以在个人设备运行，三模式切换适配不同负载，保障数据隐私。
• 视觉语言应用：视觉语言模型变体支持图像理解与图文问答，适用于智能文档分析与多模态交互。

《夸克》非常好用的免费AI浏览器

下载APP查看