北京——2024年12月5日 亚马逊云科技在2024 re:Invent人人大会上，文书基于Amazon Trainium2的Amazon Elastic Compute Cloud（Amazon EC2）Trn2实例崇拜可用万博手机官网登录，并推出全新的Amazon EC2 Trn2 UltraServers，让用户以优厚的性价比考试和部署最新的东说念主工智能模子，以及将来的大说话模子（LLM）和基础模子（FM）。此外，亚马逊云科技还发布了新一代Amazon Trainium3芯片。

Amazon Trainium2芯片

Amazon EC2 Trn2 UltraServers

Amazon EC2 Trn2 实例行状器模块

与面前基于GPU的EC2 P5e和P5en实例比拟，Amazon EC2 Trn2实例的性价比进步30-40%。它配备16个Trainium2芯片，可提供高达20.8 Petaflops浮点算力的性能，十分稳妥考试和部署具终点十亿参数的大型说话模子（LLMs）。全新推出的Amazon EC2 Trn2 UltraServers行状器机型配备64个相互邻接的Trainium2芯片，罗致NeuronLink超速互连时间，可提供高达83.2 Petaflops浮点算力，其运筹帷幄、内存和汇集智商是单一实例的四倍，玩忽支抓考试和部署超大限制的模子。亚马逊云科技联袂Anthropic正打造名为Project Rainier的EC2 UltraCluster，其包含数十万颗Trainium2 芯片，所达到的超等算力比他们面前一代最初AI模子考试所需算力高出5倍以上。亚马逊云科技推出了新一代AI芯片Trainium3，匡助客户更快速地构建更大限制的模子，并在部署时提供更优的及时性能。

亚马逊云科技运筹帷幄和汇集副总裁 David Brown暗示：“Amazon Trainium2是专为支抓大型、前沿的生成式AI职责负载而野心的，玩忽知足考试和推理的需求，并在亚马逊云科技上提供超卓的性价比。跟着模子参数接近万亿，咱们相识到客户需要一种革命的方式来高效考试和运行限制庞杂的职责负载。在亚马逊云科技上，全新的Amazon EC2 Trn2 UltraServers提供超快速的考试和推感性能，匡助各类企业以更快的速率和更低的资本考试和部署寰宇上最大的模子。”

跟着模子限制的阻挡扩大，客户但愿缩小考试时间和推理蔓延，这对运筹帷幄和汇集基础设施建议了更高的条目。亚马逊云科技已提供往常的Amazon EC2加速实例采取，包括基于GPU和机器学习芯片的实例。但是，即使是现在最快的加速实例，客户仍但愿达成更高的性能和更大的可推广性，以更低的资本更快地考试这些日益复杂的模子。跟着模子复杂性和数据量的加多，因为并行化的罢休，单纯扩大集群限制已无法灵验缩小考试时间。同期，及时推理的需求也超出了单实例架构的承载智商。

Amazon EC2 Trn2实例为深度学习和生成式AI提供超卓性能

与面前基于GPU的EC2实例比拟，Amazon EC2 Trn2的性价比进步30%至40%。单个Trn2实例集成了16个Trainium2 芯片，通过NeuronLink超速高带宽、低蔓延的芯片之间的互联，可提供高达20.8 Petaflops浮点算力，十分稳妥考试和部署数十亿参数的模子。

Amazon EC2 Trn2 UltraServers知足人人超大模子日益增长的AI运筹帷幄需求

对于需要更强算力的超大模子，Amazon EC2 Trn2 UltraServers使客户玩忽龙套单个Trn2实例的罢休进行推广，从而减少考试时间，加速投放商场的速率，达成快速迭代以提高模子准确性。算作全新的EC2家具，Trn2 UltraServers应用NeuronLink超速互联将四个Trn2行状器邻接为一个巨型行状器。客户通过全新Trn2 UltraServers，不错在64个Trainium2芯片上推广他们的生成式AI职责负载。在推理职责负载方面，客户不错使用Trn2 UltraServers进步分娩环境中万亿参数模子的及时推感性能。亚马逊云科技正在与Anthropic共同构建一个名为Project Rainier的 EC2 UltraCluster运筹帷幄集群，该集群由Trn2 UltraServers构成，玩忽在数十万个Trainium2芯片之间通过第三代低蔓延的PB级EFA汇集进行漫衍式模子考试——其运算智商比Anthropic面前一代最初AI模子考试所需算力高出5倍以上。该名堂完成后，瞻望将成为人人最大可用的AI运筹帷幄集群，供Anthropic构建和部署将来模子使用。

Anthropic专注于AI安全和商议，努力于打造可靠、可评释和可控的AI系统。Anthropic的旗舰家具Claude是大门户百万用户相信的大型说话模子。算作Anthropic与亚马逊云科技真切合作的一部分，Anthropic已启动优化Claude模子，以便在亚马逊开始进的AI硬件Trainium2上运行。Anthropic将使用数十万个Trainium2芯片，该限制是其之前集群的五倍以上，为使用Amazon Bedrock上的Claude 客户提供超卓的性能发扬。

Databricks Mosaic AI使企业玩忽构建和部署高质料的智能体系统。该系统基于数据湖仓原生架构，用户不错讲理、安全地使用企业数据定制模子，从而提供更准确和特定边界的输出。成绩于Trainium的高性能和资本效益，客户玩忽以较低的资本在Mosaic AI上推广模子考试。跟着人人客户对Mosaic AI需求的阻挡增长，Trainium2的推出将为Databricks过火客户带来首要上风。算作人人最大的数据和AI公司之一，Databricks规划使用Trainium2为客户提供更优的性能，并将总体领有资本斥责多达30%。

Hugging Face是人人最初的AI建树者开源平台，领有特出200万个模子、数据集和AI应用，其用户社区涵盖了特出500万名商议东说念主员、数据科学家、机器学习工程师和软件建树者。在昔时几年中，Hugging Face与亚马逊云科技合作，匡助建树者通过Optimum Neuron开源库体验Amazon Inferentia和Amazon Trainium的性能与资本上风。该库已集成到Hugging Face Inference Endpoints中，并在新的HUGS自部署行状中进行了优化，用户不错在亚马逊云科技Marketplace获取。跟着Trainium2的发布，Hugging Face用户将享受更高的性能，从而更快地建树和部署模子。

poolside努力于构建一个由AI驱动的寰宇，以股东有经济价值的职责和科学跨越。他们笃信，软件建树将成为神经采汇注第一个达到东说念主类灵巧水平的遑急智商。为此，poolside正在打造基础模子（FMs）、API和助手应用，以将生成式AI的上风带给建树者。而为了达成这一指方向关键就在于他们构建和运行家具所用的基础设施。借助Amazon Trainium2，poolside的客户将取得优于其他AI加速器的性价比推广其行状。此外，Poolside规划应用Amazon EC2 Trainium2 UltraServers考试将来的模子，这将比使用Amazon EC2 P5实例瞻望可从简40%的资本。

Amazon Trainium3芯片，专为新一代前沿生成式AI职责负载的高性能需求而野心

亚马逊云科技发布了新一代AI考试芯片Amazon Trainium3。Trainium3是亚马逊云科技首款罗致3纳米工艺制造的芯片，在性能、能效和密度上设立了新标杆。搭载Trainium3的UltraServers性能瞻望将是Trn2 UltraServers的4倍，使客户在构建模子时玩忽更快迭代，并在部署时提供超卓的及时性能。首批基于Trainium3的实例瞻望将在2025年末上线。

Amazon Neuron Software助力客户充分证据Trainium2性能

Amazon Neuron SDK包括编译器、运行时库和器具，匡助建树者优化模子以在Trainium上运行。它让建树者具有在Trainium芯片上优化模子以取得最好性能的智商。它与JAX和PyTorch等热点框架原生集成，使客户在Trainium上使用现存代码和职责流时只需进行少许代码修改。同期，Neuron支抓Hugging Face模子库中的特出10万个模子。通过Neuron Kernel Interface（NKI），建树者不错径直访谒裸机的Trainium芯片，编写运筹帷幄内核以最大适度地进步运筹帷幄密集型职责负载的性能。

Amazon Neuron旨在简化使用JAX等流行框架在Trainium2上考试和部署模子，同期尽量减少代码编削和对特定供应商惩处决策的依赖。谷歌支抓亚马逊云科技通过其原生的OpenXLA集成，使客户玩忽使用JAX进行大限制考试和推理，提供简便纯确凿编码旅途，匡助用户快速上手Trn2实例。跟着行业内往常的开源合营，以及Trainium2的推出，谷歌瞻望JAX在机器学习社区的应用将显贵加多，这将成为总共机器学习生态系统的遑急里程碑。

现在，Amazon EC2 Trn2实例在好意思国东部（俄亥俄）区域已崇拜可用，其他区域也行将推出。Amazon EC2 Trn2 UltraServers现在预览可用。

了解更多信息，请访谒：

亚马逊云科技新闻博客，获取更多把稳信息。亚马逊云科技Trainium页面 ，了解更多功能。亚马逊云科技Trainium客户页面，了解企业如何使用Trainium。亚马逊云科技re:Invent页面 ，获取对于亚马逊云科技re:Invent举止的更多细节。

对于亚马逊云科技

自2006年以来，亚马逊云科技（Amazon Web Services）一直以时间革命、行状丰富、应用往常而享誉业界。亚马逊云科技一直阻挡推广其行状组合以支抓着实云上放纵职责负载，现在提供特出240项全功能的行状，涵盖运筹帷幄、存储、数据库、汇集、数据分析、机器学习与东说念主工智能、物联网、挪动、安全、搀杂云、媒体，以及应用建树、部署与经管等方面；基础设施无边34个地舆区域的108个可用区，并已公布规划在墨西哥、新西兰、沙特阿拉伯和泰国等新建6个区域、18个可用区。大门户百万客户，包括发展马上的初创公司、大型企业和最初的政府机构，齐相信亚马逊云科技万博手机官网登录，通过亚马逊云科技的行状撑抓其基础设施，提高敏捷性，斥责资本。要了解更多对于亚马逊云科技的信息，请访谒：www.amazonaws.cn。