东数为什么要去西算?东数如何才能西算?当记者从工信部公布的数据中了解到,2021年全国数据中心耗电量,相当于1.3个上海市的社会用电总量时,就对将数据中心安置到电力充沛的西部有了充分的认同。但东数如何才能实现西算,这个问题直到第六届未来网络发展大会上,才获得了解答。
近期,第六届未来网络发展大会在江苏省南京市举办。大会以“网络全球决胜未来”为主题,围绕确定性网络、6G通信、算力网络、工业互联网、网络智能等话题,聚集了超1000位未来网络领域专家、行业代表共话未来网络发展。在会后的采访中,新华三集团副总裁、技术战略部总裁刘新民,新华三集团江苏代表处总经理谢莉,新华三集团2029研究院技术总监朱仕银,介绍了新华三如何与江苏省未来网络创新研究院合作,共同研发确定性网络,并由新华三承建了全球首张确定性网络试验网的具体情况。
承载算力的确定性网络
通常算力需要尽量的与数据靠近,这样才能获得更高的计算效率。比如在一台电脑中,与CPU距离最近的,必然会是内存,这样才可以在更短的时间内,将数据更高效的向CPU进行传输。可是在实施东数西算时,距离这个鸿沟又将如何跨越过去呢?
对此,刘新民的回答是“网络传输优化”。
新华三集团在近两年中,始终在与科研院所合作,研究如何攻克远程数据传输的链路损耗问题。通常100G的带宽,大概可以实现60G左右的流量传输。但在远程数据转输时,受到多条路由、时延、抖动的影响,60G流量的有效传输率只有30%。这也是为什么以前数据中心都尽力在东部进行建设的一个主要原因。因为那里的数据产生的最多,为了避免数据传输损耗,算力只能被迫向数据中心靠近。
如今通过网络传输优化技术,可以通过确定性网络使得100G带宽的传输效率提升2-3倍,达到90G的有效传输。如此一来,距离将不会再成为建立数据中心的主要制约因素。我们自然可以去环境更适宜、绿色能源更加丰富的西部地区去建立数据中心,从而令东数西算的目标得以实现。
确定性网络的实现原理
远距离传输损耗的难题,确定性网络又是如何加以克服的,对于这个问题朱仕银为我们更加深入的进行了讲解。
要想实现确定性网络的高性能数据传输,首先是要让数据不用“等”。数据在光纤中进行传输,速度基本上就是光速,传输距离实际上对数据传输的影响并不是很大,但是在远距离传输时会经过多个路由转发设备,在每次经过的时候,都要进行相应的网络协商,传输速率也就这样被降下来了。于是确定性网络的首要目标,就是让远距离传输的数据不用“等”。通过统一的管理控制机制,为数据事先建立好一条顺畅的通道,在经过每个路由设备时,都可以直接进行通过。
其次是利用新协议,现在主流传输协议是TCP,但TCP协议的拥塞控制并不理想,导致传输带宽利用率并不理想,从而会导致传输效率降低。在本次大会上,新华三集团就向外发布了利用RDMA方式替代TCP协议的确定性网络传输方案。RDMA协议要求零丢包、低延迟,以往只能在局域的数据中心内采用,如今有了不用“等”的确定性网络,也就可以让RDMA从局域网扩展到了广域网进行使用。网络带宽利用率,也提升到了现在的80-90%。
在会场外,新华三还搭建起了确定性网络的测试展示平台,利用思博伦测试仪表向发出确定性网络和背景数据传输流量,并通过以上图中所示的两个加载多跳路由的路由器进行数据转发,为了模拟远距离数据传输,还通过链路损耗测试仪表,为其添加上了相当于1000公里的延迟。
在实时测试结果中我们可以看到,其最小和平均延时只达到一百多微秒,双向传输速率也分别达到89和87Gbps。
通过新华三集团各位技术专家深入浅出的讲解,以及现场的实际测试展示,我们切实体验到了确定性网络在远距离数据传输时的神奇之处,也更加有理由相信,通过确定性网络对算力的承载,东数西算的宏伟目标必然会更加顺利的得到实现。
好文章,需要你的鼓励
麻省理工学院研究团队发现大语言模型"幻觉"现象的新根源:注意力机制存在固有缺陷。研究通过理论分析和实验证明,即使在理想条件下,注意力机制在处理多步推理任务时也会出现系统性错误。这一发现挑战了仅通过扩大模型规模就能解决所有问题的观点,为未来AI架构发展指明新方向,提醒用户在复杂推理任务中谨慎使用AI工具。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
中科院自动化所等机构联合发布MM-RLHF研究,构建了史上最大的多模态AI对齐数据集,包含12万个精细人工标注样本。研究提出批评式奖励模型和动态奖励缩放算法,显著提升多模态AI的安全性和对话能力,为构建真正符合人类价值观的AI系统提供了突破性解决方案。