全球有数十亿人在使用Facebook服务,因此Facebook一直被迫开发自己的网络基础设施以应对庞大的负载,因为在别处找不出能够满足这样需求的系统和技术。不仅如此,Facebook在分享技术开发、开源技术组件方面也由来已久,这让其他公司也可以使用和改进这些技术以便更多人受益。
今天,Facebook宣布开源其最新打造的“转发平面软件库”,这个组件为Facebook基础设施中使用的网络负载均衡器提供动力。负载均衡器用于将网络和应用流量分布到多个服务器上,以提高容量和可靠性。
Facebook最新的工具名为Katran,这是一款基于软件的负载均衡工具,据称它能使后端网络基础架构更加可靠和可扩展。Facebook以前依靠基于硬件的系统在其网络上执行负载均衡,但这个系统比较老旧不够灵活,无法处理日益增长的负载和最新服务。
据说Katran利用内核工程方面的两项最新创新技术,即eXpress Data Path和eBPF虚拟机,使其后端服务器更加灵活,同时也让网络平衡更加高效。
Facebook工程师Nikita Shirokov和Ranjeeth Dasineni在博客中写道:“我们相信Katran为那些打算利用XDP和eBPF这一激动人心的组合来构建高效的负载平衡器的用户和企业组织提供了一个出色的转发平台。”
除了Katran之外,Facebook还公布了Zero Touch Provisioning新工具的详细信息,工程师利用这个网络配置系统来自动构建骨干网所需的非物理工作。该工具是为了针对网络工程师对网络基础设施进行手动检查和测试的有限可用性而开发的。Zero Touch可以实现大部分工作的自动化,让工程师可以将更多时间花在那些无法实现自动化的任务上。
“我们以前的网络配置系统被证明无法应对构建这些网络的规模和复杂性,因此我们自己打造了全面的、灵活的工作流程系统,配备了Zero Touch Provisioning,”Facebook的工程团队在另一篇博客文章中这样写道。“这个新框架让Facebook工程师能够加快步伐,更有创意地解决问题,并采取更加迭代的方式来构建他们的网络和网络部署工具。”
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。