深圳市百诺芯科技有限公司

(非本站正式会员)

深圳市百诺芯科技有限公司

营业执照:已审核经营模式:贸易/代理/分销所在地区:广东 深圳

收藏本公司 人气:89436

企业档案

  • 相关证件:营业执照已审核 
  • 会员类型:普通会员
  •  
  • 张先生 QQ:1296701637
  • 电话:18576232501
  • 手机:18929337441
  • 张先生 QQ:1034259340
  • 电话:18929337441
  • 手机:18576232501

您的当前位置:

深圳市百诺芯科技有限公司 > 新闻动态 > 超以太网联盟成立,大厂一致抵御英伟达?

超以太网联盟成立,大厂一致抵御英伟达?

发布时间: 2023/7/24 10:02:15 | 75 次阅读

近日Linux基金会再度牵手主要云服务厂商半导体厂商以及系统方案供应商,成立了超以太网联盟(UEC)。联盟成员包括AMD、微软、博通、思科、HPE以及Meta等厂商,几乎可以说是HPC与AI领域的半壁江山了,而该联盟的存在,很可能会为未来的以太网发展带来新的契机。

AI与HPC厂商重新定义以太网下一代标准

那么为何以太网需要UEC这样一个组织呢?这就不得不提到现在盛行的大规模AI计算了。随着训练AI模型对效率和成本的追求,无论是GPT、PALM这样的大语言模型,还是DLRM这样的推介系统,都需要在成千上万块GPU上进行训练,其中网络的重要性愈发显著。

UEC联盟LOGO / UEC


传统的以太网在这样的负载上有诸多优势,比如通用、多供应商的生态系统,包括以太网网关、NIC、线缆、光模块、管理工具和软件等等。其次,对于运营以太网而言,已经有了一套成熟的试验、测量和部署流程,也可以扩展到机架级、机房级或数据中心级。

但UEC认为,未来面对AI和HPC的以太网络还需要一些改进,比如逐包负载均衡、灵活的交付顺序、更现代化的拥塞控制机制和端到端遥测等。UEC目前有四个工作组,分别为物理层、链路层、传输层和软件层。

其中物理层工作组和链路层工作组负责开发提高以太网性能、延迟和管理的规范,传输层工作组开发专用于AI/HPC的大吞吐量、低延迟和高扩展性规范,软件层工作组则负责开发不同AI/HPC应用的软件、API或开源代码。像博通之类的芯片模组厂商,也都会在未来推出符合UEC规范的以太网交换机、NIC等。

直接对标英伟达InfiniBand

从联盟成员以及该技术的定位我们还能看出一些端倪,比如英伟达、谷歌和亚马逊这样的厂商并没有加入。这是因为这三家更愿意发展自己的专有优势技术,而非加入联盟去做通用标准。比如英伟达的Infiniband在HPC与AI领域已经站稳了脚跟,而谷歌的TPUv4则引入了内部自研的光电交换技术OCS,亚马逊则更倾向于使用自己的Nitro系统来为HPC与ML应用提供支持。

这些自研方案固然可以用于极大提升竞争力,但对于部分大规模云服务厂商来说,他们很讨厌这种绑定单一供应商的做法,而且其协议也不是zui通用的以太网,所以他们这才开始联手对以太网进行AI与HPC时代下的改造,以求打破Infiniband可能存在的垄断优势。

除了亚马逊和谷歌这些选择的云服务厂商以外,其他几家厂商的zui大竞争对手自然而然地变成了英伟达,他们在这之前或多或少也有参与过互联方案的开发。比如HPE,他们的CraySlingshot也是HPC系统中常见的互联技术之一,同时也是以太网技术的超集变体之一,当下TOP500的不少超级计算机中用的仍是这一系统。而HPE则表示,他们支持UEC的目的是保证CraySlingshot能够在一个开放的生态系统中运行,同时符合UEC标准的NIC也能够享受到Slingshot的部分性能和扩展性优势。

写在zui后

考虑到UEC才成立没多久,所以相关的标准和技术都处于早期开发阶段,di一版草案很可能会要到明年才能面世,至于di一批符合标准的产品,也需要等待立项开发以及后续的市场验证。不过这也恰好展现AI计算与HPC市场的一个缩影,那就是有的厂商在不断推进专有化,而有的厂商则一直追求开放标准。