ZDNET网络频道 03月12日 编译:Mellanox已经将两种技术开放给了开放计算项目:光学数据中心互联技术和能够在Facebook的Yosemite机箱规格规范中添加多个主机网络的技术。
这个光学规范旨在帮助推动OCP技术进入HPC世界,Mellanox这个框架最终将扩展到每秒Terabit的级别。
Mellanox的市场营销副总裁Kevin Deierling对Vulture South表示,该公司的贡献“让合作伙伴和竞争者们能够使用这个信道空间,这样他们就可以生产符合它的产品。”
今天贡献给OCP的规范提供了一种方法能够利用32个钢绞线光纤的波长达到1Tbps,这一点对于数据中心和网络规模市场非常重要,并且支持距离长达2000米的传输。今天,按照这种规范使用四个25 Gbps波长达到100Gbps是有可能的。
这个规范涵盖了1550 nm WDM激光和硅光,让行业能够把用单模光纤连接器将QSFP28端子连接起来。
Deierling对公众表示超级规模市场意味着开放光学规范将带来更多的交换机进入市场,同时也会给Mellanox带来拓展其NIC销售的机会。
多个主机,一个NIC
该公司还向OCP贡献了其多主机技术规范。根据Facebook的Yosemite chassis显示,多主机的想法是利用Yosemite的新架构。
Deierling解释说,传统的x86体系架构将CPU置于宇宙的中心,或者更准确的说是主板的中心。NIC不是在CPU的外围,而是两者位于同一块主板之上;只要NIC具有足够的容量,就没有理由让它不能服务多个CPU的通信。
Deierling表示,这种方法旨在节省NIC和链接到机架顶部交换机的线缆,和使用对称多处理器的设计相比,“你可以使用更多让人负担的起的CPU”,“因为你是利用网络将CPU连接在一起了。”
Mellanox移交给OCP的技术旨在让多主机网络对于CPU透明。他表示用这种方式,实施不需要一个新的网络堆栈,但是它也能够支持在同一个物理连接上的x86、OpenPower、ARM、GPU或者基于FPGA的处理卡。
在Mellanox展示的配置中,一个648节点的集群只需要162个NIC、162个端口和162根线缆。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。