东数为什么要去西算?东数如何才能西算?当记者从工信部公布的数据中了解到,2021年全国数据中心耗电量,相当于1.3个上海市的社会用电总量时,就对将数据中心安置到电力充沛的西部有了充分的认同。但东数如何才能实现西算,这个问题直到第六届未来网络发展大会上,才获得了解答。
近期,第六届未来网络发展大会在江苏省南京市举办。大会以“网络全球决胜未来”为主题,围绕确定性网络、6G通信、算力网络、工业互联网、网络智能等话题,聚集了超1000位未来网络领域专家、行业代表共话未来网络发展。在会后的采访中,新华三集团副总裁、技术战略部总裁刘新民,新华三集团江苏代表处总经理谢莉,新华三集团2029研究院技术总监朱仕银,介绍了新华三如何与江苏省未来网络创新研究院合作,共同研发确定性网络,并由新华三承建了全球首张确定性网络试验网的具体情况。
承载算力的确定性网络
通常算力需要尽量的与数据靠近,这样才能获得更高的计算效率。比如在一台电脑中,与CPU距离最近的,必然会是内存,这样才可以在更短的时间内,将数据更高效的向CPU进行传输。可是在实施东数西算时,距离这个鸿沟又将如何跨越过去呢?
对此,刘新民的回答是“网络传输优化”。
新华三集团在近两年中,始终在与科研院所合作,研究如何攻克远程数据传输的链路损耗问题。通常100G的带宽,大概可以实现60G左右的流量传输。但在远程数据转输时,受到多条路由、时延、抖动的影响,60G流量的有效传输率只有30%。这也是为什么以前数据中心都尽力在东部进行建设的一个主要原因。因为那里的数据产生的最多,为了避免数据传输损耗,算力只能被迫向数据中心靠近。
如今通过网络传输优化技术,可以通过确定性网络使得100G带宽的传输效率提升2-3倍,达到90G的有效传输。如此一来,距离将不会再成为建立数据中心的主要制约因素。我们自然可以去环境更适宜、绿色能源更加丰富的西部地区去建立数据中心,从而令东数西算的目标得以实现。
确定性网络的实现原理
远距离传输损耗的难题,确定性网络又是如何加以克服的,对于这个问题朱仕银为我们更加深入的进行了讲解。
要想实现确定性网络的高性能数据传输,首先是要让数据不用“等”。数据在光纤中进行传输,速度基本上就是光速,传输距离实际上对数据传输的影响并不是很大,但是在远距离传输时会经过多个路由转发设备,在每次经过的时候,都要进行相应的网络协商,传输速率也就这样被降下来了。于是确定性网络的首要目标,就是让远距离传输的数据不用“等”。通过统一的管理控制机制,为数据事先建立好一条顺畅的通道,在经过每个路由设备时,都可以直接进行通过。
其次是利用新协议,现在主流传输协议是TCP,但TCP协议的拥塞控制并不理想,导致传输带宽利用率并不理想,从而会导致传输效率降低。在本次大会上,新华三集团就向外发布了利用RDMA方式替代TCP协议的确定性网络传输方案。RDMA协议要求零丢包、低延迟,以往只能在局域的数据中心内采用,如今有了不用“等”的确定性网络,也就可以让RDMA从局域网扩展到了广域网进行使用。网络带宽利用率,也提升到了现在的80-90%。
在会场外,新华三还搭建起了确定性网络的测试展示平台,利用思博伦测试仪表向发出确定性网络和背景数据传输流量,并通过以上图中所示的两个加载多跳路由的路由器进行数据转发,为了模拟远距离数据传输,还通过链路损耗测试仪表,为其添加上了相当于1000公里的延迟。
在实时测试结果中我们可以看到,其最小和平均延时只达到一百多微秒,双向传输速率也分别达到89和87Gbps。
通过新华三集团各位技术专家深入浅出的讲解,以及现场的实际测试展示,我们切实体验到了确定性网络在远距离数据传输时的神奇之处,也更加有理由相信,通过确定性网络对算力的承载,东数西算的宏伟目标必然会更加顺利的得到实现。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。