深圳纵横集团有限公司
shenzhen zongheng group co,ltd
时间：2023-09-03 信息来源：纵横集团
-------------------------------------------
8月，英伟达发布了二季度财报，财报显示，公司二季度营收135亿美元，创季度新高且同比增长超100%。公司预期三季度该数字将达到160亿美元。与此同时，高端芯片的强劲需求将公司毛利率大幅提升至71.2%，二季度净利润61.8亿美元，同比涨幅达到惊人的843%。
这是什么概念呢？相当于英伟达在三个月时间里多赚了六七十亿美元，而且之后每个季度都有望入账这么多钱，即使放在群英荟萃的硅谷，这样的成绩也足以让大家感到惊讶了。
而营收和盈利背后，是英伟达显卡被疯抢的盛况，即使英伟达今年能预计出货50万块h100显卡，依旧没有满足ai市场的急速扩张的需求，其未来计划将h100显卡的产量至少提高两倍，2024年该显卡的预计出货量会达到150万至200万颗左右。
那么，到底是谁在抢这几十万乃至上百万的显卡呢？
我们或许可以从最近的新闻里一窥端倪，8月29日，总耗资三亿美元的特斯拉gpu集群正式上线，该集群集成了10000 块英伟达的h100 gpu，其主要用途就是帮助训练特斯拉的无人驾驶系统fsd。
作为构筑该集群最重要的一部分，英伟达h100于 2022 年末推出，售价约4万美元，比 前代a100 快 30 倍，ai 训练速度快 9 倍，根据英伟达的介绍，h100 专为视频训练等图形密集型工作负载而设计，且易于扩展，其拥有18,432 个 cuda 核心， 640 个张量核心 ，80 个流式多处理器 (sm) ，与 a100 相比，h100的高性能计算速度快 5 倍以上。
而由10,000 块h100构筑的gpu集群将提供 340 fp64 pflops 的峰值性能，为人工智能应用提供 39.58 int8 exaflops 的峰值性能，峰值性能上已经超越了世界第四高性能超级计算机 leonardo 所提供的 304 fp64 pflops。
而英伟达第二季度的财报，正是像特斯拉这样的公司做出的贡献，他们投入巨资打造超大型gpu集群，一出手就是购入上万张显卡，让台积电开足了马力生产都赶不上需求的变化。
时间回到5 年前，openai 向微软提出了一个大胆的想法——它可以构建一套人工智能系统，永远改变人类与计算机之间的交互方式。
但是这套人工智能系统并非凭空得来，它需要建立在强悍算力的基础之上，而且光有一套在背后提供助力的基础设施还不够，这还不是一锤子买卖，openai必须能长期稳定地运行这套系统，简而言之，就是要不断地砸钱。
当时，微软 azure 高性能计算和人工智能产品负责人 nidhi chappell 表示："我们从研究中了解到的一件事是，模型越大，你拥有的数据越多，你能训练的时间越长，模型的准确性就越好。"
为了力挺openai的人工智能，2019年，微软宣布与openai建立合作关系，包括投资10亿美元以及在azure中建立一个可以训练和运行高级ai模型的计算平台，微软将对azure进行的改进，以构建超级计算技术。
在build 2020活动上，微软宣布了这次合作的结果。微软与openai合作，并专门为openai构建了一台新的超级计算机，这台新超算包括了超过28.5万个cpu核心，1万块gpu，每个gpu服务器的网络连接能力为400 gigabits每秒，按照世界超级计算机top500的排名，微软打造的这款新型超级计算机位列前五名。
如何让这套集成万块gpu的超算集群全力开动起来，成了当初摆在微软面前的难题。
微软 azure 高性能计算和人工智能产品负责人 nidhi chappell 称，技术的关键是学习如何在高吞吐量、低延迟的 infiniband 网络上构建、运行和维护数以万计共处一地的 gpu，并相互连接。
微软介绍称，为了帮助训练大型语言模型，计算工作被划分到一个集群中的数千个 gpu 上，在allreduce阶段，gpu会相互交换信息，而全新的 infiniband 网络用于加速这一阶段，这一切都在下一阶段计算前完成，所有gpu就像齿轮一样紧密咬合在了一起。
"由于工作跨越了数千个 gpu，你需要确保你有可靠的基础设施，然后也需要在后端拥有网络，这样你就可以更快地进行通信，并能够连续数周这样做"，chappell 说道，“这不是你买了一大堆 gpu，把它们连在一起，就可以开始工作的。为了获得最佳的性能，需要有很多系统级的优化，而这是经过许多代人的经验总结出来的。”
时间来到今日，这套基础架构现在已成为整个 azure 云计算结构的标准配置，其中包括针对 ai 工作负载优化的虚拟机组合、连接的计算和存储资源，微软云和人工智能集团执行副总裁 scott guthrie 表示，构建这种基础设施释放了 openai 的 chatgpt 和新的 microsoft bing 等产品中的人工智能功能。
在chatgpt全球爆火之后，原来的这套超算已经无法满足越来愈多的ai计算需求，今年3月，微软发布博文称，azure即将迎来重磅升级，加入数万张英伟达最新的h100显卡以及更快的infiniband网络互连技术。
根据微软的介绍，nd h100 v5 虚拟机将成为未来ai的支柱，它支持按需大小不等的 8 到数千个 nvidia h100 gpu，这些 gpu 通过 nvidia quantum-2 infiniband 网络互连。与上一代 nd a100 v4 vm 相比，可以看到人工智能模型的性能显着提高，其中创新技术包括：
8个nvidia h100 tensor core gpu通过下一代nvswitch和nvlink 4.0互联；
每个gpu有400 gb/s的nvidia quantum-2 cx7 infiniband，每个虚拟机有3.2tb/s的无阻塞胖树型网络；
nvswitch和nvlink 4.0在每个虚拟机的8个本地gpu之间具有3.6tb/s的双向带宽；
第四代英特尔至强可扩展处理器；
pcie gen5到gpu互连，每个gpu有64gb/s带宽；
16通道4800mhz ddr5 dimm……
微软表示，nd h100 v5虚拟机将成为微软向客户提供基础设施的方式，该基础设施包括数以千计的 nvidia ai 优化 gpu，这些 gpu 在基于 nvidia quantum infiniband 通信的高吞吐量、低延迟网络中连接在一起，其可以根据任何 ai 任务的规模进行扩展。
与特斯拉相比，微软的超算不再局限于单一的特定用途，而是更看重在ai训练方面的整体性能，以及面向各类用户的灵活扩展，相信其未来潜力会随着open ai和微软旗下ai产品的发展而进一步得到释放。
与微软不同，谷歌在组建超算集群这条路上出发得更早，它不光从英伟达处大批量采购显卡，同时还悄悄启动了自研计划，双轨并行成就了今天谷歌的超算。
谷歌的自研始于2013年，当时的 google ai负责人jeff dean经过计算后发现，如果有1亿安卓用户每天使用手机语音转文字服务3分钟，其中消耗的算力就是google所有数据中心总算力的两倍，而全球安卓用户远不止1亿。
谷歌最终选择了另辟蹊径，并立下了一个不低的目标：针对机器学习这一目的来构建特定领域计算架构（domain-specific architecture），还要将深度神经网络推理的总体拥有成本（tco）降低至原来的十分之一。
2014年，谷歌tpu（tensor processing unit）开始正式研发，得益于谷歌本身既有的强大科研实力，以及从各个公司招募而来的优秀芯片人才，tpu的开发异常顺利，仅在15个月后就开始在数据中心部署应用，且每瓦性能达到了gpu的30倍，cpu的80倍。
直到2016年的google i/o开发者大会上，首席执行官sundar pichai才正式向世界展示了tpu这一自研成果。pichai非常自豪地表示，deepmind研发的alphago能够击败韩国棋手李世石，底层硬件里的tpu功不可没，tpu就像希腊神话中引发特洛伊战争的女人——海伦，它的出现引起了“成千芯片与之竞逐”。
而在2023年，谷歌公布了自研芯片的最新版本——tpu v4，相较于上一代，性能高出2.1倍，在整合4096个芯片之后，超算性能提升了10倍。
谷歌表示，对于规模相当的系统，tpu v4可以提供比英伟达a100强1.7倍的性能，同时在能效上也能提高1.9倍。与tpu v3一样，每个tpu v4包含两个tensorcore（tc）。每个tc包含四个128x128矩阵乘法单元（mxu），一个具有128个通道（每个通道16个alu），以及16 mib向量存储器（vmem）的向量处理单元（vpu）。
谷歌称，客户对机器学习的容量、性能和规模的需求一直在快速增长。为了支持ai的下一代基础性进步，我们正式推出了谷歌云机器学习集群，其中就包括预览版的cloud tpu v4 pod，在最高可达9 exaflops的峰值聚合性能下，cloud tpu v4 pods集群在算力方面是全世界最大的公开可用的机器学习中心。
让人感到讶异的是，谷歌实施自研战略的后，利用英伟达gpu组建的超算集群也丝毫不逊色于其他巨头。
今年5月，在年度 google i/o 开发者大会上，谷歌公布了全新 ai 超级计算机——a3 ，该超算拥有大约 26,000 块英伟达h100 gpu，作为参考，世界上最快的公共超级计算机frontier拥有 37,000 块 amd instinct 250x gpu。
谷歌表示，a3超级计算机面向希望训练大型语言模型的客户，是对现有 a2 虚拟机与 nvidia a100 gpu 提供的计算资源的重大升级，谷歌正在将所有分布在不同地理位置的 a3 计算实例汇集到一台超级计算机中。
“a3 超级计算机的规模可提供高达 26 exaflops 的 ai 性能，这大大减少了训练大型 ml 模型的时间和成本，”谷歌的董事 roy kim 和产品经理 chris kleban 在博文中提到。
此外，a3 超算是第一个通过名为 mount evans 的基础设施处理单元连接 gpu 实例的虚拟机，该单元由谷歌和英特尔联合开发，ipu 允许 a3 虚拟机卸载网络、存储管理和安全功能，并以 200gbps 的速度传输数据。
“a3 是第一个使用我们定制设计的 200gbps ipu 的 gpu 实例，gpu 到 gpu 的数据传输绕过 cpu 主机并流经与其他 vm 网络和数据流量不同的接口。与我们的 a2 虚拟机相比，这使网络带宽增加了 10 倍，具有低尾延迟和高带宽稳定性，”谷歌高管在博客文章中表示。
左手tpu，右手h100的谷歌，在组建超算集群这件事上似乎走在了很多公司的前面，自研面向自身需求，而英伟达gpu服务于客户，二者取长补短，让谷歌成为了这个ai时代的弄潮儿。
对于因为元宇宙而改名的meta来说，ai似乎一直是它深耕的领域，更是为了它背后的基础设施豪掷万金，力图打造世界第一流的超算集群。
2017年，当时还叫facebook的meta打造了第一代ai超级计算机，其配备了22000个nvidia v100 tensor core gpu，每日可处理35000项ai训练工作。
据 hpcwire 预计，这个基于 v100 gpu 的前身版本，按照 linpack benchmark 的浮点计算性能应该已经达到了135 pflops。在2021年11月全球超算排行榜中足以排到第三名，其算力已经超越了美国在加州 livermore 运作的“山脊”(sierra) 超级计算机。
2020年初，由于已有超算集群越来越难跟上未来大模型训练的需要，meta决定从0开始设计一个新的超算，进而在大到一个exabyte的数据集上训练出超过一万亿个参数的模型，
2022年1月，meta 宣布它正在建造的世界最快 ai 超算 ai research supercluster (rsc)，他们选择了三家在 ai 计算和数据中心组件方面最知名的公司：英伟达、penguin computing，和 pure storage。
meta不仅从英伟达处采购了760台 dgx 通用训练系统，其中包含共计6080块 ampere 架构 tesla a100 gpu，还从 pure storage 采购了共计 231pb 的闪存阵列、模块和缓存容量，机架搭建、设备安装和数据中心的后续管理工作，则由从 facebook 时代就在服务该公司的 penguin computing 负责。
最终，第一阶段的rsc超算包含 6,080 块 gpu，缓存容量 46 pb，主闪存 175 pb。在计算机视觉任务上，新超算的性能比旧系统提高 20 倍，在大型自然语言处理上性能提升 3 倍，而在第二阶段正式完成时，包含总共 2000 个 英伟达dgx a100 系统，使用了 16000 块 gpu，储存容量达到 1 eb，能每秒处理 16 tbps 的数据。
meta在博客文章中表示：“我们希望rsc帮助我们建立全新的ai系统，例如可以为多个不同语言的团队提供实时语音翻译，使他们可以在研究项目上无缝协作，甚至一起玩ar游戏。”
不过目前来看，meta超算rsc的算力已经落后于微软和谷歌的ai超算，毕竟后者已经开始利用更强大的h100 gpu来构筑超算，但meta也表示 ，rsc的优势是允许其研究人员使用 meta 生产系统中的真实示例来训练模型，希望为 ai 研究人员提供最先进的基础设施，使他们能够开发模型并为他们提供培训平台以推进 ai 发展。
而meta也早已建立了新的自研计划，在2020年就开发了其第一代基于7nm工艺的自研ai芯片 mtia（mtia v1），可以从128 mb 内存扩展到高达 128 gb，其专门用于处理与 ai 推荐系统相关的工作，帮助用户找出最佳贴文内容并更快呈现在用户眼前，其计算性能和处理效率都胜过 cpu。另外，在 meta 设计的基准测试中，mtia处理“低复杂性” 和“中等复杂度”的 ai 模型也比 gpu 更高效。
对于meta来说，目前没有新的超算建造计划可能是不大不小的遗憾，但依靠自研芯片和已有的强大超算，和微软谷歌相比也不逞多让。
与前几个耳熟能详的公司相比，较少被提及的aws（亚马逊云科技）作为全球云计算服务提供商，在组建超算集群的速度和规模上，并不比其他巨头逊色多少。
aws和英伟达合作的历史有12年之久，在过去十几年的时间当中，aws陆续推出了基于英伟达gpu的各种gpu实例，如cg1实例（2010年）、g2（2013年）、p2（2016年）、p3（2017年）、g3（2017年）、p3dn（2018年）、g4（2019年）、p4（2020年）、g5（2021年）和p4de（2022年）实例。
在去年发布的ec2 p4de实例中，采用8个英伟达 a100 gpu，每个具有80gb高性能的hbm2e gpu 内存，而这一实例在去年已经用于aws的超算集群。
今年5月，aws更进一步，宣布推出 ec2 p5 虚拟机实例，该实例将在 nvidia h100 gpu 的基础上运行，其采用8块英伟达h100 tensor core gpu，具有640 gb高带宽gpu内存，同时提供第三代amd epyc处理器、2tb系统内存和30tb本地nvme存储，还提供了3200 gbps的聚合网络带宽并支持gpudirect rdma，从而能够绕过cpu进行节点间通信，实现更低的延迟和高效的横向扩展性能。
而且amazon ec2 p5实例可以部署在超大规模集群第二代amazon ec2 ultraclusters中，其由高性能计算、网络和云存储组成，amazon ec2 ultraclusters可以使用多达2万个h100 tensor core gpu，用户可以部署可扩展到数十亿或数万亿参数的机器学习模型。
英伟达副总裁 swami sivasubramanian 表示，与基于英伟达上一代 a100 gpu 的 ec2 p4 模型相比，p5 实例在训练大型语言模型时速度提高了六倍，并且可以将训练成本降低 40%。
此外，aws还为超算集群推出了基于arm的cpu，名为graviton3e的芯片正是aws的ec2 hpc7g实例的一部分，aws将hpc7g实例定位为“紧耦合计算和网络密集型hpc工作负载的实例类型”，网络密集型功能集中在nitro系统芯片上，这是一个数据处理器或基础设施处理单元，处理网络，i/o和安全性，其可与英伟达的bluefield或谷歌与英特尔合作开发的mount evans相媲美。
目前，nitro已成为aws云基础设施的核心，其提供了适合其分布式系统高性能的i/o，hpc7g虚拟机可用于从16个核心到64个cpu核心的实例，具有128gb内存、amazon elastic block存储、200gbps efa（弹性结构适配器）带宽和25gbps网络带宽。
值得一提的是，另一家公司riken已经通过aws的hpc7g实例构建了其基于arm的fugaku计算机的云版本，这也是世界上第二快的超级计算机。
生成式ai成为了云服务市场新的增长点，同时也推动云服务市场的创新和差异化，作为行业领头羊的aws显然没有忽视这件事，早已在搭建超算集群的路上持续向前奔跑。
至于开头提到的特斯拉，作为自动驾驶的先锋，它早已把超算集群当成是未来的主要方向，除了备受青睐的英伟达显卡外，自研更是它最大的法宝之一。
早在2021年6月，国际计算机视觉和模式识别会议（cvpr）周末的演讲中，特斯拉人工智能团队的负责人安德烈·卡帕西 (andrej karpathy) 就展示了一台超级计算机，这台超级计算机采用了 5760 个算力为 321tflops 的英伟达 a100 显卡，组成了 720 个节点，总算力突破了 1.8eflops，10pb 的存储空间。
而在2021年的特斯拉ai日上，特斯拉自研的多芯片模组化（multi-chip modularized）超级计算机正式亮相，其被命名为dojo，最初它主要服务于自动驾驶系统的数据标注以及训练，后也被应用于机器人研发，特斯拉的人形机器人就搭载了dojo的d1超算芯片。
d1超算芯片是dojo系统的基础。该芯片采用7纳米制造工艺，处理能力为1024 gigaflops，即每秒1024亿次。1500枚d1芯片可组成阵列，而将25个阵列放在一块晶圆上，便能形成训练模组(training tile)，这便是dojo超级计算机的单元核心。
到了2022年的特斯拉ai日上，特斯拉正式公布了由d1芯片组成的dojo exapod，即dojo集群，该集群内含120个训练模组(training tile)、3000个d1芯片。其拥有13tb静态随机存取记忆体容量以及1.3tb高传输频宽记忆体容量，算力高达1.1eflop。
据介绍，dojo由“图块”组成，工作方式与基于cpu或基于gpu的超级计算机有很大不同。特斯拉称，dojo的d1芯片模块并不是由很多较小的芯片组合在一起，而是一个具有354个内核的大型芯片组成，专门针对ai和机器学习，每个dojo机柜可容纳4248个内核，10个机柜的组成的exapod可容纳42480个内核。因此对于相同的数据中心占用空间来说，dojo要比cpu或者gpu快几个数量级。
dojo不仅会帮助加速 fsd 训练，还将负责管理特斯拉汽车的数据处理，根据特斯拉ceo马斯克所说，特斯拉会同时应用英伟达h100 gpu 超算集群和 dojo超算集群，此举将为该公司在汽车行业提供无与伦比的计算能力。
单论h100超算集群的数量，特斯拉可能还无法和谷歌微软相媲美，但dojo自研芯片无疑是它最大的底气之一，在自动驾驶浪潮来临之际，特斯拉这两大利器，已经足够让它成为目前算力最强大的公司之一，笑傲于数千家车企之中。
在组建超算集群这件事上，巨头们争先恐后，而其他新锐也不甘示弱，甚至由于他们和英伟达的良好关系，这方面反而具备了自身的优势。
成立于2017年总部位于纽约的coreweave就是这样一家新锐企业，此前专注于加密货币“挖矿”市场的它，在过去几年时间实现了转型，瞄准了人工智能领域，开始提供基于图形处理单元(gpu)的云计算服务，今年早些时候，它还获得了英伟达的1亿美元投资。
根据博天堂ag官网介绍，coreweave目前可以通过搭建的英伟达 a100 和 a40 gpu 集群提供虚拟化算力，可让用户访问超过45000个gpu，被认为是市场上运行人工智能模型的最佳选择。
而这家公司近期联合英伟达，以及新兴ai企业inflection ai，开始建造全球最大的ai超算集群，该集群由22,000个英伟达h100 gpu组成，在16位精度模式下可以达到22 exaflops的运算能力，使用低精度模式，其运算能力还会进一步提高，对照top500超级计算机列表，这台全新的超算集群将位列第二，仅次于榜首。
而另一家接受英伟达3亿美元投资的新锐企业lambda labs同样不容忽视，这家美国云服务初创公司由michael balaban和stephen balaban两兄弟于2012年创立，早年业务重点是销售gpu驱动的计算机，后转型为gpu云服务器租赁，公司的年收益从千万美元的规模上升至数亿美元的规模。
而lambda labs的规模虽然不大，但其号称能提供全世界价格最低的nvidia a100、h100算力资源，与coreweave一样是组建ai超算集群的主力之一。
这部分新锐在英伟达的支持下迅速崛起，成为了超算集群中不可忽视的一股力量。
据不完全统计，目前国内已发布的各类大模型数量超过 100 个, 一场“百模大战”已经摆好了驾驶，而在大模型训练的背后，最关键就是算力，截至 2022 年底,我国算力总规模达 180eflops , 目前居全球第二位，但即便是如此庞大的算力，与目前各类模型训练的需求仍然不成正比，算力缺口反而在今年进一步扩大。
除了美国外，英国政府斥资9亿英镑，用于构建一台百亿亿级超级计算机，旨在打造全球最先进的语言模型——britgpt；人工智能初创公司cerebras systems宣布将携手阿联酋集团g42打造一个由9台互联的超级计算机组成的网络，目前第一台ai超级计算机——“condor galaxy 1（cg-1）”开始部署，ai算力高达4 exaflops（每秒4百亿亿次）；日本经济产业省将通过其附设的研究机构引进一台新的尖端超级计算机，其计算能力大约是现有机器的 2.5 倍，通过云服务将这台超算提供给开发生成式 ai 的日本国内企业……说是千帆竞逐也不为过
当我们再放眼国内，今年4月，腾讯云正式发布新一代hcc高性能计算集群，国内首发搭载英伟达最新的h800 gpu，采用业界最高的3.2t互联带宽；2023年阿里云将推出一款更接近云计算终极形态的算力产品，这款被命名为通用universal实例的产品进一步屏蔽了传统it的硬件参数；百度新建设的阳泉智算中心是亚洲最大单体智算中心，建设规模为4 eflopsai算力……几家巨头早已把超算列上了重要日程。
更值得我们关注的是，过去的超算架构主要以 cpu 为主，但这种传统基础设施架构下的算力已经无法满足目前模型训练的需求，只有建设大规模 gpu 超算集群，才能真正意义上解决大模型训练的后顾之忧。
可以看到，老牌巨头中，不管是微软谷歌，还是meta aws，把组建超算集群当作了重要目标之一，他们甚至早在10年前就发觉了这种趋势，在这方面均已有所布局，而特斯拉coreweave这样近年才崛起的新贵，更是全力押注算力，一手自研一手采购，迅速填补自身的算力缺口。
这时候问题就来了，谁能掌握算力，拿下通往未来的第一张船票呢？