Arm Neoverse赋能AWS Graviton4处理器,加速云计算创新
作者:[db:作者] 发布时间:2024-12-21 22:38
跟着人工智能(AI)技巧的迅猛开展,云盘算范畴正在阅历明显变更。愈发庞杂的AI利用对盘算处理计划的机能、效力跟本钱效益提出了更高请求。在云端安排任务负载的客户正在从新评价其所需的基本设备,以满意古代任务负载需要,此中不只包含进步机能跟下降本钱,还涵盖了需合乎羁系请求或可连续开展目的的新能效基准。Arm与亚马逊云科技(AWS)临时配合,为实现机能更微弱、更高效跟可连续的云盘算供给公用芯片跟盘算技巧。在近期举办的AWS re:Invent 2024年夜会上,AWS进一步展现AWS Graviton4所获得的明显停顿,使开辟者跟企业可能充足施展其云任务负载的机能潜力。出色的机能表示相较于上一代Graviton3处置器,基于Arm Neoverse V2平台的AWS Graviton4处置器在盘算机能上晋升了30%,中心数增添了50%,内存带宽进步了75%。凭仗这些技巧上风,AWS Graviton处置器在生态体系跟客户群体中失掉了普遍利用。Arm Neoverse V2平台涵盖Armv9架构的新特征,包含高机能浮点跟向量指令支撑,以及SVE/SVE2、Bfloat16跟INT8 MatMul等特征。这些特征为AI/呆板进修(ML)以及高机能盘算(HPC)任务负载供给了出色机能。AI/ML任务负载往年早些时间,Arm与主流的AI框架跟软件生态体系配合,推出了Arm Kleidi软件,以确保Arm平台上开机即用的推感性能优化能惠及全部ML栈,开辟者无需控制额定的Arm专业常识即可构建其任务负载,从而进一步推进AI任务负载的普遍利用。此前,Arm已展现了PyTorch中的这些优化怎样赋能AWS Graviton4 上运转年夜言语模子(LLM),如Llama3 70B 跟Llama 3.1 8B,并明显改良了每秒天生词元(token)数跟词元初次呼应时光的表示指标。HPC跟EDA任务负载对HPC任务负载,Graviton4相较于Graviton3E在功效上实现了明显晋升。每个中心的主内存带宽增添了16%,每个vCPU的L2缓存容量翻倍。这些改良对HPC利用的机能至关主要,由于HPC利用平日受限于内存带宽。AWS曾经在这些范畴获得了明显上风,如下所示。依据Arm工程团队现实运转EDA任务负载所得出的成果,Graviton4供给的RTL仿真任务负载机能比Graviton3超过37%。图:AWS Graviton4上的HPC跟EDA任务负载上风生态体系普遍采取比年来,跟着云盘算用户将种种云任务负载安排在AWS Graviton处置器上,其软件生态体系连续扩大。如斯一来,客户不只节俭了用度,播种了机能的晋升,还能优化其碳脚印跟可连续开展脚印。以下是局部示例:图:采取基于Arm Neoverse的AWS Graviton3 所获得的生态上风动手应用Graviton的强盛机能Arm将在云盘算的将来中施展要害感化,并将持续支撑AWS Graviton 破于技巧翻新的前沿。Arm将持续投入并进一步强化软件生态体系,从而使开辟者可能愈加轻松地在Arm平台上构建其利用,并充足应用Arm盘算平台所供给的出色机能跟效力上风。   申明:新浪网独家稿件,未经受权制止转载。 -->
电话
020-66888888