Nvidia Groq 3 LPU芯片

英伟达周一宣布，其Groq 3 LPX机架已全面投产，标志着公司史上最大规模收购所涉及技术的商业化正式落地。

英伟达高级总监Dion Harris表示，Groq机架将部署在Neocloud Nebius平台上，与Vera中央处理器和Rubin图形处理器协同工作，并将在今年晚些时候上线。

英伟达加紧制造Groq芯片并推向客户，凸显了低延迟推理日益增长的重要性——这是让AI智能体响应迅速、避免用户长时间等待的关键，尤其在编程场景中尤为重要。英伟达表示，云服务商可以为此类token收取更高费用。

Harris在电话会议中称：“对于提供token服务的厂商来说，这为他们提供了向那些对延迟最敏感的客户提供优质服务层级的可能，以满足相应的服务等级协议。”

去年12月，英伟达以200亿美元收购了芯片初创公司Groq的资产，这是公司迄今最大的一笔收购。

Groq架构在芯片裸片上集成了500兆字节的高速SRAM，以减少内存瓶颈。Groq芯片由三星代工，而英伟达的GPU则由台积电制造。

英伟达将256个独立的Groq 3芯片封装在LPX机架中。根据Artificial Analysis的基准测试，英伟达称其Groq 3 LPX机架可提供每秒3400个token的吞吐量。

这是一个竞争激烈的领域。较小的GPU制造商AMD今年早些时候宣布，将把其机架级系统与近期上市的Cerebras芯片集成，同样聚焦低延迟推理。OpenAI新近宣布的“超快模式”目前承诺每秒750个token，且“由Cerebras提供支持”。

低延迟芯片并不会取代GPU——GPU是AI芯片的主力，既可进行训练也可进行推理，且足够灵活以适应新技术和新模型。像Groq这样的低延迟芯片主要专注于模型服务中的一个环节，即“解码”阶段。

Harris表示：“这不是要取代GPU，而是要在合适的负载部分使用合适价格、合适的处理器。”

英伟达目前正在加快Vera Rubin系统的出货，该系统已于今年早些时候投产。在3月Vera Rubin和Groq 3 LPX的发布会上，英伟达CEO黄仁勋预计，从当前一代Blackwell芯片到新的Vera Rubin系统，到2027年的累计销售额将达到1万亿美元。

黄仁勋当时表示，他将在专用于编程应用的数据中心空间中，划出四分之一分配给Groq芯片。

黄仁勋说：“我数据中心的其余部分将全部使用Vera Rubin。”

英伟达将于周三公布财报。

《夸克》非常好用的免费AI浏览器

下载APP查看