8月25日消息，英伟达宣布，面向交互式AI推理的Groq 3 LPX处理器正式进入全面投产阶段。

该芯片是Vera Rubin平台的关键组件之一，专注于超低延迟Token生成，旨在弥补传统GPU架构在此类场景下的不足。

在Artificial Analysis的基准测试中，Groq 3 LPX搭载Gemma 4 31B模型、处理100,000 Token上下文时，实现了每秒3400个输出Token的吞吐量，创下该模型迄今最高纪录。

针对智能体编程等对延迟敏感的工作负载，其响应速度最高可达近期竞品平台的4倍。

英伟达指出，智能体任务与传统聊天或摘要生成存在本质差异：一次任务可能包含数百甚至数千个推理步骤，智能体需反复读取文件、调用工具、执行代码、校验结果并迭代推理，上下文长度随之累积至数十万Token。

因此，智能体AI带来两个并行的计算需求：一是高效处理持续增长的大规模上下文，二是以极低延迟持续生成每一个输出Token。

Vera Rubin平台通过多芯片协同设计应对这一挑战。其中，Rubin GPU负责大规模训练、推理及上下文处理；Groq 3 LPX则专为单用户交互场景优化Token生成速率；Vera CPU承担工具编排、代码执行、数据处理和模拟等CPU密集型工作；BlueField-4 DPU与Spectrum-6 SPX则分别负责网络与存储加速。

英伟达同步公布了Vera Rubin NVL72在真实智能体负载下的测试结果。基于SemiAnalysis的AgentX工作负载，采用DeepSeek V4 Pro模型，Vera Rubin NVL72每兆瓦（MW）吞吐量最高达到上一代GB300 NVL72的30倍，每Token成本最高降低35倍。

结合Groq 3 LPX的表现，该组合可使智能体在代码编写、测试执行、工具调用和结果验证等连续任务中获得更快的响应速度，从而显著缩短端到端任务完成时间。

英伟达强调，Groq 3 LPX全面投产的核心目的并非以专用推理芯片取代GPU，而是为Vera Rubin平台补充传统GPU架构在超低延迟Token生成方面的短板。

整个Vera Rubin平台被定位为面向智能体AI时代的AI工厂系统，涵盖Rubin GPU、Vera CPU、Groq 3 LPX、BlueField-4 DPU、Spectrum-6 SPX等七款芯片及五种专用机架，所有组件围绕计算、网络、存储和软件进行深度协同设计，确保各类硬件各司其职，而非由单一处理器包揽全部工作负载。

《夸克》非常好用的免费AI浏览器

下载APP查看