物联网、5G和AR/VR等新兴技术的兴起,一直在驱动着边缘网络计算需求。但全球面临的新冠肺炎疫情,让高速网络的需求以一种前所未有的速度飞速增长——视频会议和流媒体内容播放的需求量均达到了创纪录的高度,两者都需要更高的带宽和零延迟数据传输。通常定义下,五毫秒以内的延迟都可以被认为是“零延迟”,但在当前全面联网的远程办公时代,五毫秒延迟也已经明显太慢了。
网络从未如此关键。无论是电话会议还是流媒体(视频内容或游戏),服务提供商都无法承受卡顿、分辨率下降和缓存变慢的现象。为了解决这一问题,业务应用和数据必须尽可能靠近数据摄取点,缩短总体往返时间,最终让应用程序可以实时获取信息。
但在实际执行中却不那么容易。
直面挑战
对于服务提供商来说,边缘计算有着独特的挑战。在边缘领域涌现出大量的解决方案意味着部署的容器越来越多,增长速度超过了人们可以实现有效管理的速度。虽然可以使用编排工具进行自动部署,但要确保自动化的故障排查和服务保证,可观测性才是关键。
毕竟,任何程度的服务中断都将会招致大量的客户投诉,因此服务提供商会迫使IT团队尽可能快速地解决问题。但从IT团队的角度来讲,即使已经拥有了识别问题来源和解决问题所需的信息,但检查分散于各服务器组件的大量遥测数据依然会是很大的挑战。IT团队需要能够快速地处理这些数据的能力,并根据可见的趋势获得有价值的洞察。
数据驱动的解决方案
解决方法的关键,就是在于人工智能的能力,更具体地说是机器学习,在其驱动下,编排解决方案可以对各工作负载进行可扩展的预测性操作。通过机器学习与实时网络监测的结合,可为自动化工具提供所需的洞察,从而以比人工更快更准确的方式对物理和虚拟网络功能进行预设、实例化并配置。这一过程也意味着IT团队可以把时间用在具有更高价值的任务关键型项目上,为企业创造实际收益。
将人工智能带到云端
针对应用程序在网络边缘的生命周期管理,机器学习也发挥着关键作用。在只有几个集中式数据中心构成的环境中,运营商可以明确应用程序虚拟网络功能(VNF)的最佳性能条件。但是随着环境分散成数千个小型场所,虚拟网络功能就有了更复杂的需求,必须根据实际情况予以满足。
运营商没有足够的带宽可以满足所有这些需求,因此人工智能的应用再次彰显出重要性。机器学习算法可以通过一个前期循环测试来运行所有组件,以评估它们在生产场所的表现,让运营人员判定所测试的应用程序可以在边缘正常运行。
由边缘网络决定的未来
边缘计算的兴起彻底改变了服务提供商对于基础设施的想法。人们越来越将边缘看作是优质资产。由服务提供商提供和管理,在人工智能和机器学习的优化下,边缘计算可被用于数不胜数的业务目的。一旦这一高度沉浸式边缘计算力得到释放,我们就会看到应用程序和新的工作负载涌向网络边缘,这在五年前还是无法想象的。
在未来,不只是服务提供商要利用网络边缘。很快,边缘云环境将会解放更多潜力——开放、安全、云原生,具有各种可扩展的预测性操作——可满足更丰富的企业、消费者和电信工作负载需求。边缘云将集成安全能力,有效减少安全事件的破坏半径。最终,人工智能驱动的预测性操作将会被用于管理运行着数千个边缘位置的复杂环境,从而有效提升消费者和员工使用体验。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。