Trainium是云科技(AWS)专门为跨越1000亿个参数模子的深度学习检察打造的机器学习芯片。在2024年 re:Invent大会上，AWS晓示Trainium2细致可用开云体育，其性能比第一代居品擢升4倍，可以在极短的时安分检察基础模子和大讲话模子。

AWS周二晓示，将推出一款由数十万颗自研Trainium芯片构成的巨型东说念主工智能超等盘算机，这是其位于德克萨斯州奥斯汀的东说念主工智能芯片遐想施行室的最新后果。

该芯片集群将供由东说念主工智能初创公司Anthropic使用，Anthropic是一家东说念主工智能初创公司，近期赢得来自亚马逊40亿好意思元的投资。AWS负责盘算和收集服务的副总裁戴夫.布朗（Dave Brown）暗意，这个名为 “Project Rainier ”的芯片集群将落地好意思国，2025年建成后将成为寰宇上最大的东说念主工智能模子检察集群之一。

在拉斯维加斯举行的年度re:Invent会议上，AWS发布了“Ultraserver”服务器，该服务器由64个自研的互联芯片构成。此外，AWS还在会议上晓示成为其最新的芯片客户之一。

re:Invent会议上发布的居品突显了AWS此前对自研芯片Trainium的快乐，其将Trainium视为替代英伟达GPU的备选选项。

笔据斟酌机构国外数据公司(IDC)的数据裸露，2024年东说念主工智能芯片市集的界限意想为1175亿好意思元，到2027年底预测将达到1933亿好意思元。IDC客岁12月的斟酌裸露，英伟达在东说念主工智能芯片市集中占据了约95%的份额。

AWS的CEO马特.加曼（Matt Garman）称：“当今，GPU市集只存在一种摄取，即是英伟达，若是市集上有其他的摄取，咱们顺服客户会很接待。”

而亚马逊股东AI计策的环节举措是更新其芯片，这么可合计他们的客户裁减资本，同期在产业链内掌合手更多的主动权。掌合手更多的主动权故意于亚马逊减少对英伟达的依赖，尽管当今两家公司的关系还十分亲密。

觊觎英伟达芯片收入的公司并不在少数，包括东说念主工智能芯片初创企业Groq、Cerebras Systems和SambaNova Systems。亚马逊的竞争敌手微软和谷歌也下场迷惑我方的东说念主工智能芯片，并试图减少对英伟达的依赖。

自从2018年推出基于Arm架构的CPU Graviton以来，亚马逊一直费事于为客户迷惑自研的芯片居品。亚马逊高管暗意，公司的方针是复制Graviton的告捷教育，向客户解释，其居品诚然资本更低，但性能并不逊色于市集首先者。

亚马逊造芯，复刻Graviton的告捷教育

AWS的东说念主工智能芯片施行室位于德克萨斯州奥斯汀市，其前身是亚马逊在2015年以约3.5亿好意思元收购的以色列微电子公司Annapurna Labs。

加迪·哈特(Gadi Hutt)在亚马逊收购Annapurna之前就加入了该公司，担任居品与客户工程部的总监。他暗意：“芯片施行室自Annapurna创业之初就已建树，其时Annapurna安家于奥斯汀的考量恰是但愿所处的位置要聚合芯片巨头设有服务处的场地。”

该施行室工程部主任拉米·辛诺(Rami Sinno)说，在施行室里面，工程师们可能今天还在安装线上使命，来日就去焊合了。他们会立即入辖下手处理任何需要完成的使命，这种预防求实的心态在初创企业中更为常见，而非像亚马逊这么的万亿好意思元公司。

辛诺称，这是特意为之的，因为Annapurna关于东说念主才招聘有我方的证据，并不像行业中的其他公司那样寻找专长于一个界限的“大家”。他们会寻找既精明疆域遐想又精明信号竣工性和功率传输，而况还能编写代码的电路板遐想师。

“咱们同期遐想芯片、中枢、整台服务器和机架。咱们不会比及芯片准备好后再遐想主板，”辛诺说。“这让团队省略以超快的速率前进。”

AWS在2018年推出了Inferentia，这是一种专门用于推理的机器学习芯片，行将数据输入AI模子以生成输出的历程。亚马逊高档副总裁兼隆起工程师詹姆斯·汉密尔顿（James Hamilton）暗意，团队首先专注于推理，因为与检察比较，推理任务对芯片的条款略低。

到2020年，Annapurna依然准备好推出其首款面向客户用于检察AI模子的芯片“Trainium”。客岁，亚马逊晓示推出Trainium2芯片，称该芯片现已可供客户使用。AWS还暗意，当今正在迷惑Trainium3芯片以及基于该芯片的服务器，其性能将是基于Trainium2芯片服务器的四倍。

界限决定算力，亚马逊服务器搭载芯片数目为英伟达两倍

跟着AI模子和数据集的界限越来越大，为其提供能源的芯片和芯片集群的界限也在束缚扩大。科技巨头们不仅从英伟达购买更多的芯片，还自行遐想芯片。如今，他们正试图将尽可能多的芯片鸠集在一个场地。

“越来越大”亦然亚马逊芯片集群的方针，该集群由Annapurna和Anthropic调和构建，方针是让AI初创公司使用该集群来检察和初始其改日的AI模子。亚马逊暗意，该集群的浮点运算才能是Anthropic现时检察集群的五倍。马斯克的xAI最近建造了一台名为Colossus的超等盘算机，该盘算机使用了10万个英伟达的Hopper芯片。

汉密尔顿说：“你将服务器的界限扩大得越多，就意味着你需要处分的问题越少，通盘检察集群的遵循也就越高。一朝你意志到这少许，更大更强就成了方针。”

亚马逊的Ultraserver将64个芯片整合到一个封装中，由四台服务器构成，每台服务器包含16个Tranium芯片。布朗说，比较之下，英伟达的部分GPU服务器只包含8个芯片。为了将这些芯片组合在沿途，酿成一个可以达到83.2千万亿次浮点运算的服务器，亚马逊的秘籍刀兵是其收集技能NeuronLink，这项技能可以使所有四个服务器互雷同讯。

汉密尔顿称，这是他们在不使服务器过热的情况下所能容纳的最大数目。从尺寸上看，它更接近于雪柜大小，而不是紧凑的个东说念主盘算机。但布朗和其他高管暗意，这并不是在向客户施压，让他们从亚马逊和英伟达之间二选一。他们更但愿客户可以在其云平台上无间使用我方心爱的居品。

AI编程初创公司Poolside的斡旋独创东说念主兼CTO艾索.康德（Eiso Kant）暗意，他们公司在使用Amazon的芯片初始其AI模子时，相较于使用英伟达的芯片，可粗略约40%的资本。但舛错是，工程师需要破耗更多的时分让亚马逊的关系芯片软件宽泛初始。

康德暗意：“亚马逊径直通过台积电制造芯片，并将其足下于我方的数据中心，因此对AI初创企业来说，这是看起来更“稳当的摄取”。他暗意，亚马逊的赌注下在何处至关要紧，因为在硬件界限，过期敌手6个月就可能意味着业务的罢了。”

苹果机器学习与东说念主工智能高档总监贝诺伊·杜平(Benoit Dupin)在大会上暗意，苹果里面正在测试Trainium2芯片，预测可粗略约50%的资本。

濒临英伟达，Trainium能走多远

分析师暗意，关于大多量企业来说，摄取英伟达照旧亚马逊并不是一个伏击的问题。因为大型企业更和蔼奈何从初始AI模子中赢得价值，而不是斟酌奈何检察它们。

这么的市集趋势对亚马逊来说是件善事，因为客户不会注重到云服务背后是哪家芯片厂商在提供算力。它可以与Databricks这么的云数据公司调和，将Trainium足下于云盘算，大多量企业齐不会注重到任何互异，因为盘算省略宽泛初始，而且资本还会越来越低。

市集斟酌和IT斟酌公司Gartner的分析师奇拉格.德卡特（Chirag Dekate）暗意，亚马逊、谷歌和微软正在迷惑我方的AI芯片，因为他们知说念自行遐想芯片可以粗略时分和资本，同期提高性能。因为定制硬件可以提供十分具体的并行化功能，这可能比通用型GPU的性能更好。

斟酌公司Redburn Atlantic的分析师亚历克斯·海斯尔(Alex Haissl)暗意，AWS在东说念主工智能不太被关注到的界限也有着被低估的实力，包括收集、加快器和名为“Bedrock”供企业使用东说念主工智能模子的平台。

不外，公司交流关于AWS的芯片省略走多远持怀疑派头，至少当今是这么。AWS CEO加曼说：“骨子上，我意想在很长一段时安分，市集照旧会被英伟达占据，因为当今99%的使命负载齐是由它们来处理的，这种情况可能不会篡改。然则，我但愿Trainium省略开辟出一个可以的利基市集，它将会是许多使命负载的绝佳摄取。

本文由雷峰网编译自：Exclusive | Amazon Announces Supercomputer, New Server Powered by Homegrown AI Chips - WSJ