对 IOT 企业而言,IT 架构升级几乎是每个发展阶段都绕不开的坎。当公司飞速发展,在线业务迅猛增长,服务架构一次次承载冲击,高性能需求下,巨额成本也相伴而生。要处理翻倍的并发业务,接入层、后端的计算能力均需要加强,相应的缓存 IO 并发压力也只增不减。如何节省成本保持性能?其实关键点在于最底层的数据库上。
得益于灵活的数据结构和强大的集群扩展能力,文档数据库 MongoDB 分片集群架构常被选择作为发展中 IOT 企业的后端数据库。
传统 MongoDB 分片集群是典型的分布式架构,每个分片需要三个节点(Secondary)组成一个副本集提供多副本冗余。不但配置服务器(Config Server)需要耗费三个节点,而且每个分片(Shard Server)也都需要三个节点,且只有一个节点能写入。
MongoDB 副本集基于 Raft 分布式一致性协议,其中包含了节点主备间选举、数据同步、Log 追加等技术细节,可以说是根正苗红。该架构优势明显:自动故障接管、数据三副本冗余,最重要的是稳定和可靠。因此对一般 DBA 而言,这种“祖传”架构,轻易根本不敢动。
然而,MongoDB 副本集架构也决定了其几乎先天的缺陷:提供三副本存储的同时,只有单节点可写,浪费了两个节点的计算能力。
那么,华为云近期推出的 MongoDB 社区增强版,是如何优化这祖传架构,将性能大幅提升的呢?
华为云 MongoDB 社区增强版关键技术
华为云 MongoDB 社区增强版带着优化传统架构、将性价比提升到极致的使命而生,保持三副本存储,每个节点提供读写能力,计算资源不浪费。其中的关键技术在业界更是处于领先地位。
放弃复制集,解放所有节点
华为 MongoDB 社区增强版将所有分片节点升级为 primary 提供读写能力,这样相较复制集的相同成本的计算节点,提供了三倍的计算能力。
摒弃 “老传统“,节省了计算资源,那么如何保证数据的三副本?
存储计算分离,副本卸载到存储
在传统集群计算存储混合部署的方式中,我们期望越少的数据迁移以获得更高的资源利用率。然而在带宽不再稀缺,磁盘计算能力不断提升的今天,混合部署带来的木桶效应也相对明显,造成了集群资源的浪费。
华为云 MongoDB 社区增强版将存储与计算分离,存储层作三副本冗余,既保障了数据容灾的能力,又节省了计算成本。
做到三副本冗余,节省了计算资源,还需要有故障接管的能力。
打破副本集,所有Shard Server相互扶持
三节点副本集中出现节点故障,会重新选出领导,领导副本集。当副本集中出现两个节点故障,整个副本集将无法工作。
华为云 MongoDB 社区增强版节点间没有副本集主备关系,当一个 Shard Server 出现故障,其他 Shard Server会接管它的数据。
由于存储层数据共享,接管业务不需要迁移数据,只需要计算层节点从存储层加载对应数据即可。相比副本集中故障两个节点就无法工作,MongoDB 社区增强版集群在计算能力允许的情况下,可以容忍 N-1 个节点故障。
了解华为云 MongoDB 社区增强版更多信息,请移步官网:
https://activity.huaweicloud.com/dfv_mongo/index.html
好文章,需要你的鼓励
谷歌CEO皮查伊在AI竞赛低谷期坚持"信号降噪"原则,顶住压力加倍投入,最终带领谷歌凭借Gemini系列重夺领先。他坚信AI将超越火与电的革命性影响,通过递归自我改进极大降低创意实现门槛,这场"创造力民主化"浪潮或将解锁80亿人的认知潜能。
浙江大学和吉利汽车研究院联合团队提出的FreeTimeGS是一种创新的动态3D场景重建方法。不同于传统方法,它允许高斯基元在任意时空位置自由出现,并赋予每个基元运动功能,使其能够随时间移动到相邻区域。研究通过4D正则化策略解决了高不透明度基元阻碍优化的问题。在多个数据集测试中,该方法在渲染质量和速度上均大幅超越现有技术,特别是在处理复杂动态场景时,使用单个RTX 4090 GPU能以467 FPS的速度实现1080p实时渲染,为电影制作、游戏和虚拟现实等应用提供了新可能。
李飞飞的World Labs以"空间智能"重新定义AI,专注3D物理世界理解,4个月估值飙至10亿美元,获科技巨头集体押注。她揭示语言无法编码物理世界,而DNA双螺旋等突破性发现都源于三维空间的深度认知。
这篇研究介绍了"对角线批处理"技术,该技术解决了循环记忆Transformer模型在处理长文本时的并行计算瓶颈。通过重新编排计算顺序,研究团队实现了在不破坏依赖关系的情况下进行并行计算,使LLaMA-1B模型处理长文本的速度提升3.3倍,同时内存使用减少167.1倍。这种纯运行时优化不需要重新训练模型,为实际应用中的长文本处理提供了高效解决方案。