b体育新闻

b体育官网

当前位置: 首页 > b体育新闻

b体育新闻

首页 > b体育新闻

bsport:单芯片性能不抵拓展性,数据中心的交换矩阵

作者:b体育发布时间:2025-01-09

  电子发烧友网报道(文/周凯扬)在现代数据中心架构中,网络和计算设备都部署在两层甚至三层的互联矩阵中,与传统的多层架构不同,数据中心的交换矩阵促成了服务器架构的扁平化,进一步缩短了数据中心内不同端点之间的距离,提高效率的同时,也降低了延迟。可以说交换矩阵技术决定了数据中心的扩展性,相较传统的网络交换矩阵而言,如今的复杂计算交换矩阵,也就是我们所说的芯片外互联技术,更是提高算力的重要解决方案之一。与其他公司采用的通用交换矩阵技术不同,英伟达凭借其在互联交换技术上的积累,再结合收购Mellanox获得的技术,为其GPU产品打造并迭代了NVLink和NVSwitch技术b体育。以目前的英伟达GPU服务器集群为例,集群内的GPU通过NVSwitch交换机,以NVLink来实现互相通信。如今NVLink技术已经发展至第五代,NVSwitch也已经发展至第四代NVLink Switch。随着GB200的出现,英伟达已经实现了单Blackwell GPU支持18个NVLink连接的可拓展性,也使得总带宽达到了1.8TB/s,是第四代NVLink技术的两倍,更是远超PCIe 5.0。单个GB200 NVL72服务器更是可以集成72个GB200 GPU,依靠NVLink Switch实现130TB/s的总带宽,这样的可拓展性对于提高现在的大模型训练规模和速度来说尤为重要,NVL72就可以普遍用于训练万亿参数级别的大模型。虽然很多AI加速器初创企业或英伟达的竞争对手,都会鼓吹单个GPU或加速器的性能本身,但如果不能从扩展性上缩短差距,也很难被云服务厂商和数据中心大规模商用。以英伟达的老对手AMD为例,他们的MI300系列在交换矩阵的支持上由128链路组成,其中64个支持PCIe 5.0和自研的Infinity Fabric,另外64个则仅支持Infinity Fabric。在单芯片或单个服务器上的性能可能会更加优异,但一旦扩展至数百个服务器的规模下,就很难继续保持优势了。AMD也很清楚自己需要缩小这一差距,但仅仅依靠自身在Infinity Fabric交换矩阵上的积累,很难打通整个生态,所以AMD选择了合作开放一途。早在去年AMD的Advancing AI大会上,AMD就宣布向生态合作伙伴开放自己的Infinity Fabric IP(XGMI),呼吁别的交换芯片厂商对Infinity Fabric加以支持。比如博通就表示,其下一代PCIe交换芯片,除了支持PCIe、CXL之外,也将支持AMD的Infinity Fabric。然而这里指的并不是今年下半年才送样的PCIe 6.0交换芯片,Atlas 3系列,而是PCIe 7.0的Atlas 4系列。由此看来,要想真正见到第三方交换矩阵方案支持AMD的Infinity Fabric,还得等到PCIe 7.0正式面世。对于市面上其他的AI加速器而言,开放标准或已有的商用标准是他们的最好选择,比如PCIe、CXL等等。除此之外,据了解一些与缓存一致性相关的专利即将过期,或许对于一些初创公司来说,未来会有开源的高端交换互联方案供他们选择。

单芯片性能不抵拓展性,数据中心的交换矩阵

  声明:本文由电子发烧友原创,转载请注明以上来源bsport。如需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱huangjingjing@elecfans.com。

  更多热点文章阅读

  续航超1000公里,准900V超快充,今年市场进入固态电池元年

  服务器电源向10kW进发,三代半或是唯一出路

  AI算力GPU开始腾飞,背后是电源管理的持续支持

  小米SU7汽车21.59万元开局!27分钟大定破5万台,核心供应商曝光!

  AI PC的终极形态?Copilot取代Windows键,NPU 成标配

  点击关注 星标我们

单芯片性能不抵拓展性,数据中心的交换矩阵

  将我们设为星标,不错过每一次更新!

单芯片性能不抵拓展性,数据中心的交换矩阵

  喜欢就奖励一个“在看”吧!b体育

13244774814

168169@bsport.com