Nvidia 表示,其融合 InfiniBand 技术的 Spectrum-X 以太网可将存储网络的读取带宽提升近 50%。
Spectrum-X 是基于 Spectrum-4 ASIC 的以太网交换机产品与 InfiniBand 产品的结合。它支持 RoCE v2 (用于融合以太网上的远程直接内存访问) 和 BlueField-3 SuperNIC。Nvidia 的 InfiniBand 产品具有自适应路由功能,当初始选择的路由繁忙或链路中断时,可以通过最不拥塞的网络路由发送数据包。Spectrum-4 SN5000 交换机提供高达 51.2 Tbps 带宽,配备 64 个 800 Gbps 以太网端口。它具有用于自适应路由和拥塞控制的 RoCE 扩展功能,这些功能可与 BlueField-3 产品协同工作。
自适应路由的数据包可能会乱序到达目的地,而 Nvidia 的 BlueField-3 产品能够正确重组这些数据包,"将它们按顺序放入主机内存,使自适应路由对应用程序透明。"
Nvidia 的一篇博客解释说,由于 Spectrum-X 自适应路由能够减轻流量冲突并提高有效带宽,其有效存储性能远高于 RoCE v2,而"RoCE v2 是大多数数据中心用于 AI 计算和存储网络的以太网协议。"
博客讨论了大语言模型 (LLM) 训练过程中的检查点操作,这种训练可能持续数天、数周甚至数月。系统会定期保存作业状态,这样如果训练运行失败,可以从保存的检查点状态重启,而不是从头开始。博客指出:"对于拥有数十亿和万亿参数的模型,这些检查点状态变得非常大 - 当今最大的 LLM 可达数 TB 数据 - 保存或恢复它们会产生'大象流量'...可能会使交换机缓冲区和链路不堪重负。"
这里假设检查点数据是通过网络发送到共享存储(例如存储阵列),而不是发送到 GPU 服务器的本地存储,后者是 Microsoft LLM 训练中使用的技术。
Nvidia 还表示,在 LLM 推理操作中,当从存储 RAG (检索增强生成) 数据的网络存储源向 LLM 发送数据时,也会出现这种网络流量峰值。它解释说:"向量数据库是多维的,可能会非常大,特别是在包含图像和视频的知识库的情况下。"
RAG 数据需要以最小的延迟发送到 LLM,这在"多租户生成式 AI 工厂中变得更为重要,因为每秒查询量是巨大的。"
Nvidia 表示已在其 Israel-1 AI 超级计算机上测试了这些 Spectrum-4 功能。测试过程测量了 Nvidia HGX H100 GPU 服务器客户端访问存储时产生的读写带宽,分别在标准 RoCE v2 网络配置下和启用 Spectrum-X 的自适应路由和拥塞控制功能的情况下进行测试。
测试使用不同数量的 GPU 服务器作为客户端,范围从 40 个到 800 个 GPU。在每种情况下,Spectrum-X 都表现更好,读取带宽提升 20% 到 48%,写入带宽提升 9% 到 41%。
Nvidia 表示 Spectrum-X 与其他产品配合良好,可加速存储到 GPU 的数据路径:
- AIR 云端网络模拟工具,用于对交换机、SuperNIC 和存储建模 - Cumulus Linux 网络操作系统,围绕自动化和 API 构建,"确保大规模运营和管理的顺畅" - 用于 SuperNIC 和 DPU 的 DOCA SDK,为存储、安全等提供可编程性和性能 - 与交换机遥测集成的 NetQ 网络验证工具集 - GPUDirect Storage,用于存储和 GPU 内存之间的直接数据路径,提高数据传输效率
我们可以期待 Nvidia 的合作伙伴如 DDN、Dell、HPE、Lenovo、VAST Data 和 WEKA 将支持这些 Spectrum-X 功能。
好文章,需要你的鼓励
Docker公司通过增强的compose框架和新基础设施工具,将自己定位为AI智能体开发的核心编排平台。该平台在compose规范中新增"models"元素,允许开发者在同一YAML文件中定义AI智能体、大语言模型和工具。支持LangGraph、CrewAI等多个AI框架,提供Docker Offload服务访问NVIDIA L4 GPU,并与谷歌云、微软Azure建立合作。通过MCP网关提供企业级安全隔离,解决了企业AI项目从概念验证到生产部署的断层问题。
中科院联合字节跳动开发全新AI评测基准TreeBench,揭示当前最先进模型在复杂视觉推理上的重大缺陷。即使OpenAI o3也仅获得54.87%分数。研究团队同时提出TreeVGR训练方法,通过要求AI同时给出答案和精确定位,实现真正可追溯的视觉推理,为构建更透明可信的AI系统开辟新路径。
马斯克的AI女友"Ani"引爆全球,腾讯RLVER框架突破情感理解边界:AI下半场竞争核心已转向对人性的精准把握。当技术学会共情,虚拟陪伴不再停留于脚本应答,而是通过"心与心的循环"真正理解人类孤独——这背后是强化学习算法与思考模式的化学反应,让AI从解决问题转向拥抱情感。
PyVision是上海AI实验室开发的革命性视觉推理框架,让AI系统能够根据具体问题动态创造Python工具,而非依赖预设工具集。通过多轮交互机制,PyVision在多项基准测试中实现显著性能提升,其中在符号视觉任务上提升达31.1%。该框架展现了从"工具使用者"到"工具创造者"的AI能力跃迁,为通用人工智能的发展开辟了新路径。