对 IOT 企业而言,IT 架构升级几乎是每个发展阶段都绕不开的坎。当公司飞速发展,在线业务迅猛增长,服务架构一次次承载冲击,高性能需求下,巨额成本也相伴而生。要处理翻倍的并发业务,接入层、后端的计算能力均需要加强,相应的缓存 IO 并发压力也只增不减。如何节省成本保持性能?其实关键点在于最底层的数据库上。
得益于灵活的数据结构和强大的集群扩展能力,文档数据库 MongoDB 分片集群架构常被选择作为发展中 IOT 企业的后端数据库。
传统 MongoDB 分片集群是典型的分布式架构,每个分片需要三个节点(Secondary)组成一个副本集提供多副本冗余。不但配置服务器(Config Server)需要耗费三个节点,而且每个分片(Shard Server)也都需要三个节点,且只有一个节点能写入。
MongoDB 副本集基于 Raft 分布式一致性协议,其中包含了节点主备间选举、数据同步、Log 追加等技术细节,可以说是根正苗红。该架构优势明显:自动故障接管、数据三副本冗余,最重要的是稳定和可靠。因此对一般 DBA 而言,这种“祖传”架构,轻易根本不敢动。
然而,MongoDB 副本集架构也决定了其几乎先天的缺陷:提供三副本存储的同时,只有单节点可写,浪费了两个节点的计算能力。
那么,华为云近期推出的 MongoDB 社区增强版,是如何优化这祖传架构,将性能大幅提升的呢?
华为云 MongoDB 社区增强版关键技术
华为云 MongoDB 社区增强版带着优化传统架构、将性价比提升到极致的使命而生,保持三副本存储,每个节点提供读写能力,计算资源不浪费。其中的关键技术在业界更是处于领先地位。
放弃复制集,解放所有节点
华为 MongoDB 社区增强版将所有分片节点升级为 primary 提供读写能力,这样相较复制集的相同成本的计算节点,提供了三倍的计算能力。
摒弃 “老传统“,节省了计算资源,那么如何保证数据的三副本?
存储计算分离,副本卸载到存储
在传统集群计算存储混合部署的方式中,我们期望越少的数据迁移以获得更高的资源利用率。然而在带宽不再稀缺,磁盘计算能力不断提升的今天,混合部署带来的木桶效应也相对明显,造成了集群资源的浪费。
华为云 MongoDB 社区增强版将存储与计算分离,存储层作三副本冗余,既保障了数据容灾的能力,又节省了计算成本。
做到三副本冗余,节省了计算资源,还需要有故障接管的能力。
打破副本集,所有Shard Server相互扶持
三节点副本集中出现节点故障,会重新选出领导,领导副本集。当副本集中出现两个节点故障,整个副本集将无法工作。
华为云 MongoDB 社区增强版节点间没有副本集主备关系,当一个 Shard Server 出现故障,其他 Shard Server会接管它的数据。
由于存储层数据共享,接管业务不需要迁移数据,只需要计算层节点从存储层加载对应数据即可。相比副本集中故障两个节点就无法工作,MongoDB 社区增强版集群在计算能力允许的情况下,可以容忍 N-1 个节点故障。
了解华为云 MongoDB 社区增强版更多信息,请移步官网:
https://activity.huaweicloud.com/dfv_mongo/index.html
好文章,需要你的鼓励
微软高级软件工程师Alice Vinogradova将自己用SAP ABAP语言编写的向量数据库ZVDB移植到了搭载Z80处理器的经典计算机Sinclair ZX Spectrum上。她发现ABAP(1983年)和Z80(1976年)几乎是同时代产物,都诞生于内存珍贵、每个字节都很重要的计算时代。通过应用Z80优化技术,尽管时钟频率相差857倍,但代码运行速度仅慢3-6倍。她认为这些老式优化技术具有普遍适用性,在现代硬件上依然有效。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
韩国电子巨头三星宣布收购美国西雅图数字健康技术公司Xealth,进一步扩大在健康领域的布局。Xealth专注于帮助医疗专业人员将数字健康技术整合到日常实践中,与70多家数字健康技术供应商合作,应用覆盖美国500多家医院。此次收购将推动三星向连接医疗保健平台转型,结合其在传感器技术和可穿戴设备方面的优势,完善Samsung Health平台功能。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。