DiffusionGemma是什么

DiffusionGemma是Google DeepMind推出的一个实验性开源文本扩散模型。

它基于Gemma 4的架构和Gemini Diffusion的研究成果打造。核心设计是26B的MoE架构。

它的亮点在于，能并行去噪256-token大小的文本块。这意味着在单张NVIDIA H100上，它的生成速度能跑到1000+ tokens/秒。

相比传统自回归模型，速度提升了大约4倍。而且，它支持双向注意力和实时自我纠错，量化后仅需18GB VRAM，这意味着在消费级GPU上也能本地跑起来。

DiffusionGemma的主要功能

DiffusionGemma并不是传统的逐词生成模型。它的能力重点，体现在并行生成、上下文推理和自我修正上。

• 并行文本生成：它不再逐词输出，而是每次前向传播同时去噪256个token，相当于整块生成文本。
• 双向上下文推理：生成过程中，每个token都能关注同一块内的所有其他token。这直接支持了代码填充、内联编辑这类非线性文本任务，过去的自回归模型很难做到这么灵活。
• 实时自我纠错：如果某个token的置信度下降，采样器可以把它重新“加噪”，然后在后续步骤中修正。相当于可以边走边改，而不是一条道走到黑。
• 多模态输入处理：文本、图像、视频可以交错输入，上下文窗口高达256K token，它都能处理，并生成文本输出。
• 长序列块级生成：通过块自回归扩散机制，它会将已去噪的256-token块提交至KV缓存，然后继续生成下一块。这样既兼顾了并行的速度，又保证了长序列生成的稳定性。

DiffusionGemma的技术原理

它的技术核心，可以从三个角度理解：扩散机制、硬件利用方式，以及注意力架构。

Uniform State Diffusion（均匀状态扩散）

它的思路借鉴了图像扩散模型。可以把它想象成一块由随机占位符填充的256-token画布。

模型通过多次去噪迭代，逐步锁定高置信度的token，并用已经锁定的token作为上下文线索去“解读”邻居。最终，整个序列会收敛成连贯的文本。

每次前向传播大约能固化15–20个token。并行处理显著提升了吞吐量。

硬件瓶颈转移

传统自回归模型在本地推理时，计算单元经常很闲，瓶颈更多在内存带宽上。

DiffusionGemma则把瓶颈转移到了计算侧。它给GPU的张量核心喂入大规模并行去噪任务，让GPU保持高利用率。

结果是，单张H100上速度超1000 tokens/秒，RTX 5090上也能达到700+ tokens/秒。

混合注意力架构

在Prefill阶段，它用因果注意力处理输入提示并写入KV缓存。

在Denoising阶段，它切换为双向注意力，让画布内的每个token都能同时关注所有其他token。这套架构让它能完美应对需要全局约束的任务。

如何使用DiffusionGemma

DiffusionGemma的接入方式比较友好。无论是本地部署、下载权重，还是在主流框架中运行，都比较方便。

• vLLM 本地部署：可以用vLLM的OpenAI兼容服务器启动模型，配置好扩散采样器和256-token画布参数后，它就能提供推理服务了。
• Hugging Face 下载权重：模型权重以Apache 2.0协议开源，直接去Hugging Face仓库下载就行。
• 主流推理框架运行：它原生支持Hugging Face Transformers、SGLang和MLX等框架，加载推理非常方便。
• Hackable Diffusion 微调：Google还开源了JAX研究工具箱和官方训练配方，方便你针对特定任务进行快速实验和微调。

DiffusionGemma的核心优势

总结来看，DiffusionGemma的优势主要集中在速度、硬件门槛和任务适配能力上。

• 极致本地推理速度：在单用户本地场景下，比同规格自回归模型快约4倍。H100实测1000+ tokens/秒，这能显著降低交互式开发工具的延迟。
• 消费级硬件可运行：量化后仅需18GB VRAM，RTX 4090或5090就能跑，甚至DGX Spark桌面工作站也行，完全不需要服务器级集群。
• 开源生态零日支持：首发即兼容vLLM、Hugging Face Transformers、MLX、Unsloth等主流工具链，接入成本极低。
• 非线性文本任务专长：双向注意力是它的一大法宝。在代码填充、结构化输出、氨基酸序列、数学图等需要全局约束的任务上，它的表现远超传统自回归模型。

DiffusionGemma的项目地址

• 项目官网：https://developers.googleblog.com/diffusiongemma-the-developer-guide/
• HuggingFace模型库：https://huggingface.co/google/diffusiongemma-26B-A4B-it

DiffusionGemma的同类竞品对比

为了更直观地理解它和标准自回归模型的区别，可以从以下几个维度来看。

• 生成方式：离散文本扩散，256-token 并行去噪 vs 自回归，逐词从左到右生成
• 推理瓶颈：计算受限（Compute-bound） vs 内存带宽受限（Memory-bound）
• 注意力机制：双向注意力（可看后文） vs 因果注意力（只能看前文）
• 自我纠错：支持，低置信度 token 可重噪声化修正 vs 不支持，token 一旦生成立即固化
• 单用户本地速度：H100: 1000+ tokens/秒；RTX 5090: 700+ tokens/秒 vs 同硬件下约慢 3–4 倍
• 输出质量：低于 Gemma 4，不适合追求最高质量的生产场景 vs 更高，Google 推荐用于生产级应用
• 最佳场景：本地低并发、交互式、速度敏感型工作流 vs 高并发云端服务、质量敏感型任务
• 模型规格：26B MoE（激活 3.8B） vs 同系列 MoE 架构

DiffusionGemma的应用场景

了解它的优势和定位后，就能看出它更适合哪些场景。

• 实时代码辅助：在IDE里做内联补全、代码块填充，对延迟要求极高，而DiffusionGemma的本地高速生成正好满足这点。
• 交互式文本编辑：在已有段落中插入内容或改写局部文本时，它能利用双向注意力，确保修改点与上下文全局一致。
• 约束密集型生成：像数独求解、数学图构建、氨基酸序列设计这类需要多变量同时满足严格约束的任务，它处理起来得心应手。
• 结构化数据填充：并行生成表格、配置文件或模板化文档，利用整块去噪能力一次性确定多个关联字段，效率极高。
• 本地隐私敏感工作流：在消费级GPU上离线运行，数据无需出本地，特别适合对隐私有严格要求的文档分析和敏感文本处理。

《夸克》非常好用的免费AI浏览器

下载APP查看