多家巨头组建Ultra Ethernet联盟，但不包括英伟达

埃律西昂

来源： SiliconANGLE The Next Platform
原英文标题：
<Industry titans join forces in the newly formed Ultra Ethernet Consortium>
<ETHERNET CONSORTIUM SHOOTS FOR 1 MILLION NODE CLUSTERS THAT BEAT INFINIBAND>

---

领先的云服务、半导体和系统提供商今天联手推出了Ultra Ethernet联盟，这是一个新的全行业合作联盟，旨在为高性能网络构建完整的基于以太网的通信堆栈架构。

该联盟旨在满足人工智能和高性能计算工作负载不断变化的需求，这些工作负载需要在不影响成本效益或可用性的情况下提供顶级功能、性能和互操作性。Ultra Ethernet解决方案将利用以太网的广泛适用性和灵活性来支持各种工作负载，同时保持可扩展性和成本效益。

UEC的创始成员包括一系列成熟的公司，每家公司都有能力为高性能解决方案做出重大贡献。创始成员是Advanced Micro Devices Inc.，Arista Networks Inc.，Broadcom Inc.，Cisco Systems Inc.，Eviden SAS，Hewlett Packard Enterprise Co.，Intel Corp.，Meta Platforms Inc.和Microsoft Corp.。

UEC的第一任主席J Metz博士指出，该联盟的目标不是彻底改革以太网，而是提高其特定工作负载的效率，检查从物理到软件的每一层，以实现大规模的最佳性能。

UEC的使命是促进以太网互操作性，同时最大限度地减少通信堆栈更改。该联盟的技术目标包括开发规范、应用程序编程接口和源代码。

目标包括开发协议、电气和光信号特性、链路级和端到端网络传输协议以及适用于人工智能、机器学习和高性能计算环境的遥测和信令机制。该联盟还将致力于软件、存储、管理和安全结构，以适应一系列工作负载和操作系统。

UEC 计划使用系统的模块化方法来确保跨层的兼容性和互操作性，并通过紧密集成来全面增强要求苛刻的工作负载。创始公司已经为四个关键工作组做出了贡献：物理层、链路层、传输层和软件层。

“生成式AI工作负载将要求我们构建网络以实现超级计算规模和性能，”HPE执行副总裁兼HPC&AI总经理Justin Hotard在宣布之前表示。“Ultra Ethernet联盟的重要性在于开发一个开放、可扩展且经济高效的基于以太网的通信堆栈，以支持这些高性能工作负载高效运行。

UEC 作为 Linux 基金会下属的联合开发基金会项目运行。该联盟将于今年第四季度开始接受新成员申请。

---

又来了。一些大型超大规模企业和云构建商及其ASIC和交换机供应商对以太网不满意，而不是等待IEEE解决问题，而是自己动手创建最终将成为IEEE标准的东西，推动以太网朝着他们选择的方向和速度前进。

这一次——这对The Next Platform的读者来说并不奇怪——目标是 InfiniBand，这是一个低延迟、高带宽的互连，由于 2020 年 4 月完成了对 Mellanox Technologies 的 69 亿美元收购，目前基本上由英伟达控制。

超级计算机制造商 Cray 是第一个尝试创建以太网变体的公司，该变体可以在 HPC 领域与 InfiniBand 竞争，其"Rosetta" ASIC 是其Slingshot互连的基础，我们在 2019 年 8 月深入研究了该互连。Slingshot互连已经取代了InfiniBand或其Omni-Path分支（以前由英特尔控制，但现在由创立Cornelis Networks的前QLogic高管拥有），用于HPE在美国和欧洲建造的大型百万兆次级和超百万兆级机器。慧与于 2019 年 5 月以 13 亿美元的价格收购了 Cray，这在很大程度上是由于慧与希望将 Slingshot 互连广泛商业化，用于 HPC 和 AI 工作负载。像任何新的互连一样，Slingshot也有成长的痛苦，但它正在以世界从未见过的规模工作。

有趣的是，谷歌创建了其"Aquila" GNet 协议，放弃了以太网以超越 InfiniBand，我们在 2022 年 4 月就介绍了该协议，该公司一直在用其融合的 NIC/交换机架构进行测试。在过去的七年里，谷歌已经部署了其本土的"Jupiter"和"Apollo"骨干交换机，它还部署了这些交换机来互连其TPUv4 pod中的节点，这些节点有4，096个设备相互链接。在数据中心网络方面，谷歌显然在做自己的事情，即使它仍然购买了很多以太网和InfiniBand交换。自2004年以来，谷歌一直在基于来自不同供应商（主要是Broadcom）的商业芯片制造自己的以太网交换机，但Aquila和Apollo的不同之处在于，谷歌正在做芯片，而不仅仅是使用商业芯片的交换机或路由器设计。

数据中心的各种杰出人士都希望以太网具有InfiniBand的优势，而不必牺牲与以太网的兼容性，今年2月，他们发表了一篇论文《数据中心以太网和RDMA：超大规模问题》，基本上是关于RoCE(RDMA over Converged Ethernet)协议的蹩脚。RoCE存在大规模运行的问题，这不如部署在InfiniBand中的远程直接内存访问并使其延迟低，并且需要改进以超大规模和云构建者所需的规模运行AI和HPC系统。

论文中提出的问题 - 不仅仅是RoCE - 是英伟达和以太网ASIC制造商所熟知的，并且该论文并没有强迫改变他们的路线图，而是为Broadcom和Cisco Systems的交换机ASIC公告奠定了基础，这些公告已经进展顺利，以及英伟达对其Spectrum-4以太网交换机的可预测反应。

Ultra Ethernet工作已在进行中
Broadcom在四月份率先推出了其的InfiniBand杀手，Jericho3-AI芯片，展示了它如何在单个网络中扩展到32，000个互连的GPU，并通过在结构上的所有开放链路上喷涂数据来实现更好的负载平衡，以及更好的拥塞控制机制，以在AI训练中典型的“大象流”上提供更具确定性的性能。普通以太网无法做好的事情。

今年6月，思科（Cisco）渴望成为超大规模企业和云构建商的商业硅芯片提供商，开始通过其Silicon One G200和G202交换机ASIC为InfiniBand开枪。思科正在展示它如何将32，768个GPU与其他以太网替代品（我们假设是Broadcom的“Tomahawk 5”和Nvidia的Spectrum-4交换机）相比，使用两级网络互连32，768个GPU的交换机减少40%，光收发器和电缆减少50%，ASIC以相同的51.2 Tb / sec的总带宽运行。

这三家以太网交换机ASIC制造商——HPE、博通和思科，其中两家自己制造交换机——都攻击了以太网硬件和协议栈的不同部分，试图改进人工智能，使其能够更好地与InfiniBand竞争。（谷歌还没有参与其中）。现在他们正在联合起来：交换机新贵 Arista Networks，两家最大的超大规模和云构建者——Microsoft 和元平台——以及 CPU 和 DPU 制造商 AMD 和英特尔（是的，将 AMD 放在首位很奇怪，但它显然领先于英特尔）创建Ultra Ethernet联盟，以推动高性能的新标准， 低延迟、疯狂规模的以太网结构。

Atos的HPC服务器业务，现在称为Eviden，也是Ultra Ethernet联盟的创始成员，这很有趣，因为它销售Bull Exascale互连（BXI），这是Portals协议的商业化版本，在过去三十年中一直在桑迪亚国家实验室的开发下不断发展。BXI已经能够与InfiniBand并驾齐驱，并且期望Cornelis的400 Gb/sec Omni-Path后续产品也将能够做到这一点。Bull加入可能是因为它不想再做BXI。Cornelis肯定想做自己的交换机平台，可能不会加入。

所有这些都可能让你回到 2014 年 7 月，当时超大规模企业和云构建商 Google 和 Microsoft 启动了 25 Gb 以太网联盟，并与 Boradcom、Mellanox 和 Arista Networks 一起将路由器中使用的 25 Gb/s 信令引入以太网交换机，根据 IEEE 标准，这些交换机使用更慢、更热的 10 Gb/s 信令来制作 100 Gb/s 端口。对于超大规模企业和云构建者来说，这是不行的，并导致Broadcom创建了一个全新的Tomahawk系列ASIC，Mellanox在其Spectrum系列中也做了同样的事情。你猜怎么着？超大规模企业和云构建者是对的，最终IEEE不得不认可它最初拒绝的新标准。

我们现在知道谁是狗，谁是IT市场的尾巴，对吧？2014年的情况在2023年更是如此。

修复超大规模以太网
Ultra Ethernet联盟由Linux基金会托管，该基金会在这个世界上尽可能中立，创始公司正在捐赠知识产权和人员，以创建一个统一的Ultra Ethernet标准，他们最终都可以在未来的产品中遵循。您可以在这篇立场文件中阅读有关Ultra Ethernet工作的所有背景，但这一切都归结为：InfiniBand基本上由单一供应商控制，超大规模和云构建者讨厌这一点，它不是以太网，他们也讨厌它。他们想要一个在功能、规模和价格方面具有多种选择的协议。

新兴的Ultra Ethernet标准的主要特征之一是Broadcom和思科在其各自的Jericho3-AI和G200 ASIC中采用的用于多路径和拥塞避免的数据包喷涂技术。他们还希望将灵活的数据包排序添加到以太网标准中，这有助于 AI 和 HPC 应用程序中常用的 All-Reduce 和 All-to-All 集合操作比实施严格数据包排序时运行得更好。

Ultra Ethernet标准还将解决针对AI和HPC工作负载优化的新拥塞控制方法（并且远不如为支持大规模运行的Web和数据库应用程序的以太网结构开发的方法那么脆弱）。这种拥塞控制需要端到端的结构遥测，许多交换机 ASIC 制造商和交换机制造商一直试图将其嫁接到现有的 ASIC 上。他们希望它内置和标准化，但有足够的空间让供应商创建自己的实现以实现差异化。

他们还希望RDMA的新实现比InfiniBand或带有RoCE的以太网更高效，更具可扩展性。“虽然大型无损RoCE网络可以并且已经成功部署，但它们需要仔细调整，操作和监控才能在不触发这些影响的情况下表现良好，”联盟成员写道。“并非所有网络运营商都能获得这种水平的投资和专业知识，并导致高TCO。需要一种不依赖于无损结构的传输协议。

他们补充说，支持InfiniBand RDMA和以太网RoCE的Verbs API是为网络上较低的带宽和较少的对等体而设计的，并且这两种协议中的可靠连接传输模式无法跟上当前和未来网络的速度。最后，他们表示，他们希望以 800 Gb/秒、1.6 Tb/秒的速度提供更快的以太网速率性能，并在单个网络中扩展到 100 万个端点。如果历史可以作为指导，他们就会得到它。

看你下棋了，英伟达。

fairness

这个很有意思；感觉未来的交换机协议慢慢到来； 但感觉里面的主导者是：Broadcom,  Cisco.

喵尼玛

fairness 发表于 2023-7-22 11:29
这个很有意思；感觉未来的交换机协议慢慢到来； 但感觉里面的主导者是：Broadcom,  Cisco. ...

对的 原来还有Intel后来做不过这两家
现在都是51.2TB带宽光通信交换机了

COFFFEEEE

誓要打破NV 400G 垄断

邪恶的光B

众所周知，N卡网速快，A卡音质好。老黄这方面需求不高吧？

huihuige

又想用新规范来统治世界
打压中国？