凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火

【凭借#比英伟达快10倍的AI芯片#，初创公司Groq一夜爆火】

一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。

Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。（一财）

发布于：浙江

相关推荐

凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
Groq会同时挑战英伟达和谷歌吗？
英伟达要警惕的对手来了
市值一天暴涨2770亿美元，英伟达的财报阻止了地球爆炸？
AI芯片的一百种死法
AI芯片黑马Groq，能颠覆英伟达 ？
英伟达回应：未收购Groq，聘请了Groq人才加入英伟达
1400亿收编Groq，英伟达的收购史，以及黄仁勋的并购逻辑
英伟达斥资200亿美金布局 AI极致推理芯片迎风口？
报道：英伟达在下月GTC大会推出“新推理芯片”，融入Groq LPU设计

网址: 凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火 https://www.xishuta.cn/newsview109146.html