Akamai部署数千Nvidia Blackwell GPU打造分布式AI推理基础设施

云计算公司Akamai周二宣布,计划在全球超过4000个站点部署"数千台"Nvidia Blackwell GPU、DPU和服务器,以增强其AI推理能力。
该公司表示,分布式AI基础设施将有助于减少延迟,并在推理需求持续增长的背景下提升其全球运营的整体性能。创建统一平台将增强AI研究开发、微调和推理能力。
此消息紧随Akamai最近扩展AI推理和计算能力的努力。10月份,该公司发布了Akamai推理云服务,承诺将AI推理能力更贴近用户和设备。
Akamai云技术集团首席运营官兼总经理Adam Karon在声明中表示:"在超大规模云服务商继续推动AI训练边界的同时,Akamai专注于满足推理时代的独特需求。通过在我们的全球网络中分布推理优化的计算资源,Akamai不仅仅是增加容量,我们正在提供将AI从实验室带到街角所需的规模化、低延迟解决方案。"
Akamai表示,与超大规模云基础设施相比,该分布式平台可将延迟减少2.5倍,为企业节省高达86%的AI推理成本。这种分布式架构将使AI能够与现实世界系统交互,如自动配送系统、智能电网和外科手术机器人,而不受传统云服务地理位置或成本限制的约束。
竞争格局
主要竞争对手Cloudflare使用跨越200多个城市的无服务器推理平台。Cloudflare的Workers AI在无需专用GPU集群的情况下提供低于100毫秒的全球推理服务。另一个竞争对手Fastly使用边缘平台,在可编程计算方面表现出色,使用较少的本地化接入点来处理CPU/GPU任务。
尽管Akamai面临灵活的竞争对手,但该公司押注大规模GPU部署将加速关键任务场景的边缘原生AI,并将依靠其地理规模优势。
Akamai的这一宣布也标志着Nvidia在市场向推理用例转变过程中的重大胜利。在推理方面,Nvidia正面临更多芯片竞争。
MarketsandMarkets的报告显示,AI推理市场预计到2030年将增长至近2550亿美元,复合年增长率为19.2%。
向分布式推理的转变
AI的爆炸式增长暴露了超大规模云服务商中心化模式(如AWS、Azure、Google Cloud)的局限性,这些大规模集中式数据中心在训练方面表现出色,但在实时、低延迟推理方面存在困难。推理——运行训练好的模型进行预测——需要靠近用户和设备以确保响应性、最小化数据传输成本,并支持数十亿边缘交互的可扩展性。
到2026年,这一宣布强调推理时代属于分布式架构。Akamai的大胆GPU部署可能会加速关键任务实时用例的边缘原生AI采用。竞赛已经开始:谁能最好地连接集中式训练与无处不在的边缘执行,将定义AI基础设施的下一个阶段。
Q&A
Q1:Akamai的分布式AI推理基础设施有什么优势?
A:Akamai的分布式平台可将延迟减少2.5倍,为企业节省高达86%的AI推理成本。通过在全球超过4000个站点分布推理优化的计算资源,能够使AI与自动配送系统、智能电网和外科手术机器人等现实世界系统交互,不受传统云服务地理位置或成本限制。
Q2:AI推理市场的发展前景如何?
A:根据MarketsandMarkets的报告,AI推理市场预计到2030年将增长至近2550亿美元,复合年增长率为19.2%。推理时代正在到来,需要更加靠近用户和设备的分布式架构来满足实时、低延迟的需求。
Q3:Akamai与竞争对手相比有什么特点?
A:与主要竞争对手相比,Cloudflare使用跨越200多个城市的无服务器推理平台,Fastly使用较少本地化接入点处理CPU/GPU任务。而Akamai依靠其地理规模优势,通过大规模GPU部署来加速关键任务场景的边缘原生AI应用。
发布于:北京
相关推荐
Akamai部署数千Nvidia Blackwell GPU打造分布式AI推理基础设施
英伟达发布新一代Rubin平台,推理成本较Blackwell降10倍,拟下半年发货
90EFLOPS!富士康建全球最强AI超算中心:拥有4608个B200 GPU
90EFLOPS!富士康将建全球最强AI超算中心:拥有4608个B200 GPU!
GPU泡沫将破?英伟达再创新高
市场需求旺盛,传英伟达Blackwell GPU投片量上调25%
Blackwell需求量惊人!NVIDIA未来1年订单已全部售罄:有公司一次狂抢10万片
苹果终转向商用GPU?
英伟达的GPU已经讲不出“花儿”了
英伟达GTC:联想等Blackwell RTX PRO工作站、服务器和PC将陆续发布
网址: Akamai部署数千Nvidia Blackwell GPU打造分布式AI推理基础设施 http://www.xishuta.cn/newsview147586.html
推荐科技快讯
- 1问界商标转让释放信号:赛力斯 95792
- 2报告:抖音海外版下载量突破1 25736
- 3人类唯一的出路:变成人工智能 25175
- 4人类唯一的出路: 变成人工智 24611
- 5移动办公如何高效?谷歌研究了 24309
- 6华为 nova14深度评测: 13155
- 7滴滴出行被投诉价格操纵,网约 11888
- 82023年起,银行存取款迎来 10774
- 9五一来了,大数据杀熟又想来, 9794
- 10手机中存在一个监听开关,你关 9519
