初度揭秘:什么样的硬件工程筑就亚马逊云科技顶级云计较

发布日期:2024-12-10 02:14    点击次数:112

编者按:

在一年一度的亚马逊云科技re:Invent大会上,各人科技界的观点再次聚焦。亚马逊云科技高档副总裁Peter DeSantis发轫登场,共享看成云计较边界的提醒者,亚马逊云科技凭借其在硬件工程上的非凡成就,与竞争敌手拉开了权贵代差。从芯片(Graviton和Trainium系列)到作事器(Trainium2 Server和Trainium2 UltraServer)到收集(10P10U收集架构和AI收集),到云对生成式AI的撑握(Llama和Claude模子在Amazon Bedrock上启动最快)等等,全面推崇了亚马逊云科技的技艺翻新和工程化智力。

在Peter的演讲中,最要紧的两项发布别离为Trainium2 Server和Project Rainier。Trainium2 Server是亚马逊云科技用于机器学习执行的最刚劲作事器,Project Rainier则是包含了数十万个Trainium2 芯片的新集群,其运算智力所以往集群的5倍多,将可加速Claude模子的迭代速率,让客户以更廉价钱、更快速率使用更高智能的模子。

芯片翻新

Graviton与Trainium界说AI计较已往

亚马逊云科技通过自主研发Graviton和Trainium芯片,为云计较商场确立了新的标杆。Graviton系列芯片是亚马逊云科技针对云责任负载定制的ARM处理器。从Graviton到Graviton4,亚马逊云科技在性能、安全性和能效比喻面完毕了权贵提高。Graviton4看成亚马逊云科技迄今为止最刚劲的芯片,撑握多插槽设置,相比前代Graviton3,处理速率提高了30%,内核数目增多了50%,内存带宽提高了75%。

Graviton4为用户提供了更高性能、更低本钱的云计较管理决策。Graviton4的刚劲性能,使得用户不详更高效地启动大型Java愚弄、数据库等高负载责任,从而在横暴的商场竞争中占据先机。

Trainium芯片,则是亚马逊云科技专为AI执行预备的脉动阵列架构芯片。这种架构通过成功传递计较完毕,幸免了传统CPU和GPU在内存探问和计较步履之间的蔓延,从而大幅提高了AI执行的着力。Trainium2芯片与亚马逊云科技的NeuroLink技艺相联结,不详构建出超等作事器,为AI模子的执行提供前所未有的计较智力。

Trainium2的性能比上一代提高了4倍,内存容量提高了3倍,能效提高了2倍。在AI日益成为企业中枢竞争力的今天,Trainium2的推出无疑为用户提供了强有劲的撑握,助力他们在AI边界获得更大的迂回。

通过自主研发芯片,亚马逊云科技不仅裁汰了对外部供应商的依赖,更在技艺上与竞争敌手握续拉开代差。

云收集与AI收集

构建高性能、高可靠的数字基础设施

亚马逊云科技在云收集方面一直保握着率先地位,而本次re:Invent大会上展示的AI收集,更是将亚马逊云科技的收集技艺推向了一个新的高度。

Peter DeSantis强调了云收集的缺欠特色,如大限度容量、快速膨大智力和高可靠性。云收集需要搪塞每天数千台作事器的理会需求,确保收集不会成为客户作事的瓶颈。

亚马逊云科技的云收集通过各人数据中心之间的高速互联,不仅撑握大限度的数据传输和处理,更通过智能路由和故障规复机制,确保了收集的可靠性和踏实性。Peter DeSantis在演讲中提到,亚马逊云科技的云收集还是完毕了5个9(99.999% )的可用性。

而AI收集,则是亚马逊云科技为AI执行和愚弄特殊打造的高性能收集。亚马逊云科技通过推出10P10U收集结构,完毕了数十个PB比特的收集容量和低于10微秒的蔓延。

此外,亚马逊云科技还在AI收集合通过专有的中继理会器和新的收集路由合同,通过中央计算与漫步扫尾的联结,完毕了对收集故障的快速反应和规复。

Claude 3.5与Project Rainier

与Anthropic联袂鼓吹AI前沿

Anthropic与亚马逊云科技之间的精良协作,是本次re:Invent大会上的最大亮点。看成AI边界的杰出人物,Anthropic的Claude模子在代码编写、文档生成和器具使用等方面发挥出色。而亚马逊云科技看成云计较边界的领航者,为Anthropic提供了刚劲的计较资源和技艺撑握。

在演讲中,Anthropic的齐集首创东说念主兼首席计较官Tom Brown共享了Claude 3.5模子的最新进展。这款模子不仅摄取了Claude系列的高效和智能,更通过亚马逊云科技的Trainium2芯片和NeuroLink技艺,完毕了性能的大幅提高。Tom Brown提到,通过亚马逊云科技的超等作事器,客户不错将Claude 3.5 Haiku模子的启动速率提高60%,从而大幅提高AI愚弄的着力和效果。

在Tom的共享中,咱们了解到Claude3.5看成Anthropic的旗舰AI模子,还是在亚马逊云科技的Amazon Bedrock上获得了权贵的愚弄后果,并愚弄于金融数据处理、医疗保健信息分析、辩论数据处理等多个边界。Claude3.5的频频愚弄,展示了生成式AI在推动行业翻新方面的弘大后劲。

亚马逊云科技Amazon Bedrock推出头向基础模子的蔓延优化推理功能,该功能现已公开预览,为AI愚弄带来更快的反应速率和更强的反应智力。当今,这些新的推理选项撑握Anthropic的Claude 3.5 Haiku模子以及Meta的Llama 3.1 405B和70B模子,与圭表模子相比,它们在保握准确率的同期裁汰了蔓延。据Anthropic考证,在使用亚马逊云科技Amazon Bedrock的蔓延优化推理功能时,Claude 3.5 Haiku在亚马逊云科技上的启动速率比其他任何场所齐快。此外,使用Amazon Bedrock的蔓延优化推理功能,Llama 3.1 405B和70B在亚马逊云科技上的启动速率也超越了其他主要云作事提供商。

亚马逊云科技晓示推出Project Rainier,这是一个领额外十万个Trainium2芯片的新集群,该集群将撑握更大限度和更复杂的AI执行模样。Project Rainier的发布,标识着亚马逊云科技在AI边界的布局进一步加深。

结 语

从芯片翻新到云收集与AI收集,再到与Anthropic的精良协作和Project Rainier的发布,亚马逊云科技在re:Invent 2024大会上展示了其在云计较边界的全面率先地位。这些技艺迂回握续提高了亚马逊云科技的竞争力,与其他云厂商拉开技艺代差。

关系词,亚马逊云科技的得胜并非惟恐。其背后深厚的翻新文化,是亚马逊云科手段够在云计较边界握续率先的缺欠。亚马逊云科技珍惜细节、追求非凡的提醒立场,荧惑职工敢于尝试、不休迂回的翻新精神,以及以客户为中心、不休慷慨客户需求的作事理念,共同组成了亚马逊云科技私有的翻新文化。

亚马逊云科技借AI之智,为各人企业带来更多的机遇和变革,为用户铸就无可相比的竞胜之说念,共同推动数字经济的发展和社会的超越。