英伟达宣布Groq 3 LPX全面投产:Vera Rubin推理效率实现数倍提升
(来源:快科技)
快科技8月25日消息,英伟达宣布,面向交互式AI推理的Groq 3 LPX处理器正式进入全面投产阶段。
该芯片是Vera Rubin平台的关键组件之一,专注于超低延迟Token生成,旨在弥补传统GPU架构在此类场景下的不足。
在Artificial Analysis的基准测试中,Groq 3 LPX搭载Gemma 4 31B模型、处理100,000 Token上下文时,实现了每秒3400个输出Token的吞吐量,创下该模型迄今最高纪录。
针对智能体编程等对延迟敏感的工作负载,其响应速度最高可达近期竞品平台的4倍。
英伟达指出,智能体任务与传统聊天或摘要生成存在本质差异:一次任务可能包含数百甚至数千个推理步骤,智能体需反复读取文件、调用工具、执行代码、校验结果并迭代推理,上下文长度随之累积至数十万Token。
因此,智能体AI带来两个并行的计算需求:一是高效处理持续增长的大规模上下文,二是以极低延迟持续生成每一个输出Token。
Vera Rubin平台通过多芯片协同设计应对这一挑战。其中,Rubin GPU负责大规模训练、推理及上下文处理;Groq 3 LPX则专为单用户交互场景优化Token生成速率;Vera CPU承担工具编排、代码执行、数据处理和模拟等CPU密集型工作;BlueField-4 DPU与Spectrum-6 SPX则分别负责网络与存储加速。
英伟达同步公布了Vera Rubin NVL72在真实智能体负载下的测试结果。基于SemiAnalysis的AgentX工作负载,采用DeepSeek V4 Pro模型,Vera Rubin NVL72每兆瓦(MW)吞吐量最高达到上一代GB300 NVL72的30倍,每Token成本最高降低35倍。
结合Groq 3 LPX的表现,该组合可使智能体在代码编写、测试执行、工具调用和结果验证等连续任务中获得更快的响应速度,从而显著缩短端到端任务完成时间。
英伟达强调,Groq 3 LPX全面投产的核心目的并非以专用推理芯片取代GPU,而是为Vera Rubin平台补充传统GPU架构在超低延迟Token生成方面的短板。
整个Vera Rubin平台被定位为面向智能体AI时代的AI工厂系统,涵盖Rubin GPU、Vera CPU、Groq 3 LPX、BlueField-4 DPU、Spectrum-6 SPX等七款芯片及五种专用机架,所有组件围绕计算、网络、存储和软件进行深度协同设计,确保各类硬件各司其职,而非由单一处理器包揽全部工作负载。

相关推荐
英伟达宣布Groq 3 LPX全面投产:Vera Rubin推理效率实现数倍提升
史上最强AI基建方案:英伟达发布Vera Rubin平台
英伟达推理芯片Rubin CPX或已取消:供应链无订单,蓝图已移除
黄仁勋新年首场演讲:AI超级芯片平台Rubin全面投产,开源自动驾驶推理模型
刚刚,黄仁勋又让整个硅谷睡不着了
英伟达发布Vera Rubin超级芯片,性能提升3.3倍
英伟达收编创始人后,Groq要融44亿,转型AI推理云
GTC2026|倒计时:英伟达芯片供应链生变 三星或部分替代台积电
英伟达发布新一代Rubin平台,推理成本较Blackwell降10倍,拟下半年发货
抢跑AMD先发制人!英伟达亮出Vera Rubin:每兆瓦Token吞暴涨10倍
网址: 英伟达宣布Groq 3 LPX全面投产:Vera Rubin推理效率实现数倍提升 https://www.xishuta.cn/newsview152811.html
推荐科技快讯
- 1问界商标转让释放信号:赛力斯 95792
- 2报告:抖音海外版下载量突破1 25736
- 3人类唯一的出路:变成人工智能 25175
- 4人类唯一的出路: 变成人工智 24611
- 5移动办公如何高效?谷歌研究了 24309
- 6华为 nova14深度评测: 13155
- 7滴滴出行被投诉价格操纵,网约 11888
- 82023年起,银行存取款迎来 10774
- 9五一来了,大数据杀熟又想来, 9794
- 10手机中存在一个监听开关,你关 9519
