全球有数十亿人在使用Facebook服务,因此Facebook一直被迫开发自己的网络基础设施以应对庞大的负载,因为在别处找不出能够满足这样需求的系统和技术。不仅如此,Facebook在分享技术开发、开源技术组件方面也由来已久,这让其他公司也可以使用和改进这些技术以便更多人受益。
今天,Facebook宣布开源其最新打造的“转发平面软件库”,这个组件为Facebook基础设施中使用的网络负载均衡器提供动力。负载均衡器用于将网络和应用流量分布到多个服务器上,以提高容量和可靠性。
Facebook最新的工具名为Katran,这是一款基于软件的负载均衡工具,据称它能使后端网络基础架构更加可靠和可扩展。Facebook以前依靠基于硬件的系统在其网络上执行负载均衡,但这个系统比较老旧不够灵活,无法处理日益增长的负载和最新服务。
据说Katran利用内核工程方面的两项最新创新技术,即eXpress Data Path和eBPF虚拟机,使其后端服务器更加灵活,同时也让网络平衡更加高效。
Facebook工程师Nikita Shirokov和Ranjeeth Dasineni在博客中写道:“我们相信Katran为那些打算利用XDP和eBPF这一激动人心的组合来构建高效的负载平衡器的用户和企业组织提供了一个出色的转发平台。”
除了Katran之外,Facebook还公布了Zero Touch Provisioning新工具的详细信息,工程师利用这个网络配置系统来自动构建骨干网所需的非物理工作。该工具是为了针对网络工程师对网络基础设施进行手动检查和测试的有限可用性而开发的。Zero Touch可以实现大部分工作的自动化,让工程师可以将更多时间花在那些无法实现自动化的任务上。
“我们以前的网络配置系统被证明无法应对构建这些网络的规模和复杂性,因此我们自己打造了全面的、灵活的工作流程系统,配备了Zero Touch Provisioning,”Facebook的工程团队在另一篇博客文章中这样写道。“这个新框架让Facebook工程师能够加快步伐,更有创意地解决问题,并采取更加迭代的方式来构建他们的网络和网络部署工具。”
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。