作为全民狂欢的代名词,购物节早已成为各电商平台的重要营销手段。双十一、双十二、618、418、419,商家们有节必过,没节造节也要过。然而,每次活动对 IT 支撑而言,都无异于一次“渡劫”。一旦出现故障,不但所有准备前功尽弃、心血付诸流水, 而且造成的经济损失也不可估量。
小故障变大问题,购物节成购物“劫”
一年一度的 C 站购物节即将开始,小美提前几天就选了一批心仪已久的美物。成功加入购物车后,坐等晚上 0 点抢购下单。就在小美准备付款时,C 站网页无法响应,尝试多次无果后,小美失望的放弃了此次购物。同一时间,小美的朋友圈和几个聊天群里也在讨论 C 站活动无法购买的问题,不少人愤愤表示卸载软件、再也不上当了。
而另一边,C 站的工程师们加班加点,正在火急火燎的解决这项事故。早在建设网站之前,C 站工程师为了应对日益增长的用户数据,使用了扩容最灵活的文档数据库 MongoDB 存储数据,以确保流量高峰期的高并发场景下,数据达到节点存储极限时可以横向扩容。
万万没有想到,MongoDB 这次竟然出现了两个节点故障,导致数据库不可用。火速解决了节点故障,却发现当前主节点数据太旧,无法追赶到其他备节点。于是只能经过一番手动拷贝数据,将备节点上的数据复制到新的主节点上,最后重启节点。
数个小时之后,C 站的网页终于可以正常访问了。然而平台 1 小时抢购活动却已经结束,因为这几个小时的业务中断,C 站损失了数以万计个订单,金额更是不可估量。
C 站的 CTO(首席技术官)王总认真反思了这次事故,总结出两个问题:
1、 MongoDB 的三副本虽然在大多数情况下可靠,但也不排除有两个节点故障,导致业务中断的可能。
2、 新选出的主节点由于数据太旧,需要人工干预各节点上的数据迁移,这势必增加系统的不可用时间。
问题虽然找到了,但如何解决又成了 C 站新的难题。
MongoDB 架构采用的是存储与计算混合的典型分布式架构,每个分片需要三个节点组成一个副本集,提供多副本冗余。该架构下,每个分片固定 3 节点复制关系,不能容忍任意2 节点以上的故障。而且节点扩容时需要伴随这数据迁移进行,因此当数据量越大时,扩容耗时就越长。
MongoDB 分布式架构
事实上,C 站的难题,也正是大量 MongoDB 用户面临的挑战。2017 年 MongoDB 年终大会上,来自云之家的 DBA 分享了一段他的经历,对存储有 150T 数据的 MongoDB 数据库扩容,耗时接近一个月。
华为云 MongoDB 社区增强版,保障平台成功“渡劫”
为助力电商平台轻松应对各购物“劫”,华为云推出了 MongoDB 社区增强版,使用计算和存储分离的新架构,实现各节点共享存储池存储数据。ShardServer(分片)单节点部署,摆脱计算节点三副本部署的束缚。
不但支持任意 N-1个节点故障,而且横向弹性伸缩效率提升 100 倍以上,完美解决 C 站为代表的电商平台购物节风险问题。
华为 MongoDB 社区增强版计算存储分离架构示意图
计算节点互为主备,保证业务不中断
由于计算节点共享存储池,不存在数据不一致的情况,其中一个节点故障,恢复后重新加入集群时无需追赶数据。节点互为主备,其中一个节点故障,其他任意节点均可重新加载存储池中故障节点的数据,接替故障节点的工作,保证业务不中断。
此外,MongoDB 社区增强版还添加了进程监控模块,在进程故障时能自动拉起进程,从故障检测到故障恢复,全程无需人工干预。
支持任意 N-1 个节点故障,
与传统副本集部署不同的是,MongoDB 社区增强版中的每个计算节点均提供读写 IO,因此在有 N 个计算节点的 MongoDB 集群中,MongoDB社区增强版集群在计算能力允许的情况下,可以容忍N-1个节点故障。
2018 华为全联接大会将于10月份在上海召开,届时将首发华为AI战略和全栈全场景的解决方案,并携合作伙伴带来更多诸如“秦渲云”这样AI、云、大数据、5G、IoT、视频等在各行业的创新与实践,惠及更多开发者人群,“+智能,见未来”我们拭目以待。
文末彩蛋:华为云产品活动月,数据库产品全场 3.5 折起,安全产品全场低至 1 折;不限新老用户,下单即享折扣!
更多数据库引擎免费试用,详情请移步官网:
https://activity.huaweicloud.com/free_test/index.htm
华为云 MongoDB 社区增强版免费试用请点击:
https://activity.huaweicloud.com/dfv_mongo/index.html
HUAWEI CONNECT 2018作为华为自办的面向ICT产业的全球性年度旗舰大会,将于2018年10月10日-12日在上海隆重举行。本届大会以“+智能,见未来”为主题,旨在搭建一个开放、合作、共享的平台,与客户伙伴一起共同探讨如何把握新机遇创造智能未来。欲了解更多详情,请参阅:
https://www.huawei.com/cn/press-events/events/huaweiconnect2018
好文章,需要你的鼓励
"当我看到梵高的每一笔中都有他的痛苦时,才明白我们看的不是作品,而是作者的人生。AI正以惊人的速度接近人类水平通用智能,让Google从'伦敦那帮疯子在搞AGI'转变为全公司共识。DeepMind让AI'合理地幻觉'来创造突破,就像Astra技术让用户第一次惊呼'AI能做到比想象更多'——这不仅是技术革命,更是重新定义创造力的开始。"
英伟达2025Q1营收440亿美元创纪录,数据中心业务暴涨73%至390亿美元。黄仁勋直言:"中国是全球最大AI市场,出口管制只会让美国失去平台领导权。Blackwell架构推动推理性能提升30倍,微软已部署数万块GPU,AI工厂正成为各国数字基础设施核心。"
来自耶路撒冷希伯来大学的研究团队开发了WHISTRESS,一种创新的无需对齐的句子重音检测方法,能够识别说话者在语音中强调的关键词语。研究者基于Whisper模型增加了重音检测组件,并创建了TINYSTRESS-15K合成数据集用于训练。实验表明,WHISTRESS在多个基准测试中表现优异,甚至展示了强大的零样本泛化能力。这项技术使语音识别系统不仅能理解"说了什么",还能捕捉"如何说"的细微差别,为人机交互带来更自然的体验。
这项研究提出了"力量提示"方法,使视频生成模型能够响应物理力控制信号。研究团队来自布朗大学和谷歌DeepMind,他们通过设计两种力提示——局部点力和全局风力,让模型生成符合物理规律的视频。惊人的是,尽管仅使用约15,000个合成训练样本,模型展现出卓越的泛化能力,能够处理不同材质、几何形状和环境下的力学交互。研究还发现模型具有初步的质量理解能力,相同力量对不同质量物体产生不同影响。这一突破为交互式视频生成和直观世界模型提供了新方向。