NVLink 相关话题

先说SXM版GPU。SXM架构是一种高带宽插座式解决方案，用于将 GPU连接到英伟达专有的 DGX 和 HGX 系统。对于每一代英伟达GPU（包括H800、H100、A800、A100，以及早期的P100、V100），DGX系统 、HGX 系统都配有相应 SXM 插座类型。下图是8块A100 SXM 卡插在HGX 系统上（浪潮NF5488A5）。  专门的HGX 系统板通过 NVLink 将 8 个 GPU 互连起来，实现了 GPU 之间的高带宽。如下图所示，每个H100 GPU 连接到4个