【环球网科技归纳报导】4月17日音讯,Akamai宣告推出战略级解决方案Akamai Cloud Inference。据悉,这款根据其全球分布式云渠道打造的AI推理解决方案,以突破性的性能指标引发职业重视——与传统超大规模云架构比较,其吞吐量提高3倍、推迟下降60%,本钱下降86%。
在生成式AI使用迸发的布景下,企业逐步意识到大型言语模型(LLM)练习与推理环节的架构差异。彭博社预测到2032年AI推理商场规模将达1.3万亿美元,其他多份近期陈述也印证了这一判别。这一商场改变预示着2025年将成为分布式AI推理加快开展的元年。
练习好像绘制地图,需求集中式超算中心;而推理更像是实时导航,必须在接近用户的边际产生。Akamai云技能部门首席运营官兼总经理Adam Karon剖析称,2025年大约有75%的数据将产生于传统云区域之外(Gartner数据),传统云架构在响应速度、数据传输本钱等方面已稍显疲态。
在此布景下,Akamai推出Akamai Cloud Inference的解决方案,依托其掩盖130个国家、4200多个节点的分布式网络,构建了共同的云-边协同架构。经过与NVIDIA、VAST Data等生态同伴的深度整合,该解决方案供给从GPU加快核算、向量数据库实时检索到WebAssembly边际履行的完好技能栈。
Akamai经过整合VAST Data实时数据拜访、可扩展目标存储及Aiven/Milvus向量数据库技能,构建了支撑检索增强生成(RAG)的智能数据架构,完成微调模型的安全存储与全世界的低推迟AI推理。
据悉,Akamai与Fermyon等 Wasm 供给商协作,集成WebAssembly技能,使开发者可以凭借无服务器架构直接在边际端履行轻量化LLM推理,为推迟灵敏型使用供给支撑。(青云)