对 IOT 企业而言,IT 架构升级几乎是每个发展阶段都绕不开的坎。当公司飞速发展,在线业务迅猛增长,服务架构一次次承载冲击,高性能需求下,巨额成本也相伴而生。要处理翻倍的并发业务,接入层、后端的计算能力均需要加强,相应的缓存 IO 并发压力也只增不减。如何节省成本保持性能?其实关键点在于最底层的数据库上。
得益于灵活的数据结构和强大的集群扩展能力,文档数据库 MongoDB 分片集群架构常被选择作为发展中 IOT 企业的后端数据库。
传统 MongoDB 分片集群是典型的分布式架构,每个分片需要三个节点(Secondary)组成一个副本集提供多副本冗余。不但配置服务器(Config Server)需要耗费三个节点,而且每个分片(Shard Server)也都需要三个节点,且只有一个节点能写入。
MongoDB 副本集基于 Raft 分布式一致性协议,其中包含了节点主备间选举、数据同步、Log 追加等技术细节,可以说是根正苗红。该架构优势明显:自动故障接管、数据三副本冗余,最重要的是稳定和可靠。因此对一般 DBA 而言,这种“祖传”架构,轻易根本不敢动。
然而,MongoDB 副本集架构也决定了其几乎先天的缺陷:提供三副本存储的同时,只有单节点可写,浪费了两个节点的计算能力。
那么,华为云近期推出的 MongoDB 社区增强版,是如何优化这祖传架构,将性能大幅提升的呢?
华为云 MongoDB 社区增强版关键技术
华为云 MongoDB 社区增强版带着优化传统架构、将性价比提升到极致的使命而生,保持三副本存储,每个节点提供读写能力,计算资源不浪费。其中的关键技术在业界更是处于领先地位。
放弃复制集,解放所有节点
华为 MongoDB 社区增强版将所有分片节点升级为 primary 提供读写能力,这样相较复制集的相同成本的计算节点,提供了三倍的计算能力。
摒弃 “老传统“,节省了计算资源,那么如何保证数据的三副本?
存储计算分离,副本卸载到存储
在传统集群计算存储混合部署的方式中,我们期望越少的数据迁移以获得更高的资源利用率。然而在带宽不再稀缺,磁盘计算能力不断提升的今天,混合部署带来的木桶效应也相对明显,造成了集群资源的浪费。
华为云 MongoDB 社区增强版将存储与计算分离,存储层作三副本冗余,既保障了数据容灾的能力,又节省了计算成本。
做到三副本冗余,节省了计算资源,还需要有故障接管的能力。
打破副本集,所有Shard Server相互扶持
三节点副本集中出现节点故障,会重新选出领导,领导副本集。当副本集中出现两个节点故障,整个副本集将无法工作。
华为云 MongoDB 社区增强版节点间没有副本集主备关系,当一个 Shard Server 出现故障,其他 Shard Server会接管它的数据。
由于存储层数据共享,接管业务不需要迁移数据,只需要计算层节点从存储层加载对应数据即可。相比副本集中故障两个节点就无法工作,MongoDB 社区增强版集群在计算能力允许的情况下,可以容忍 N-1 个节点故障。
了解华为云 MongoDB 社区增强版更多信息,请移步官网:
https://activity.huaweicloud.com/dfv_mongo/index.html
好文章,需要你的鼓励
雅虎、Quora、Medium等在线媒体品牌正采用名为RSL的新协议,防止AI公司未经授权复制其内容用于模型训练。RSL协议基于RSS标准开发,为AI时代的互联网提供缺失的许可层。该协议旨在成为比robots.txt更强大的技术层,应对目前占互联网流量一半以上的AI爬虫。Reddit、MIT出版社等多家机构已加入该协议。随着AI导致网站流量下降25%,出版商正通过诉讼或授权协议寻求补偿。
腾讯ARC实验室推出AudioStory系统,首次实现AI根据复杂指令创作完整长篇音频故事。该系统结合大语言模型的叙事推理能力与音频生成技术,通过交错式推理生成、解耦桥接机制和渐进式训练,能够将复杂指令分解为连续音频场景并保持整体连贯性。在AudioStory-10K基准测试中表现优异,为AI音频创作开辟新方向。
思科280亿美元收购Splunk后的18个月里,两家公司专注于将Splunk的机器数据分析技术与思科网络产品线融合,打造"思科数据织网"。Splunk平台高级副总裁表示,收购后的协同效应为Splunk带来新动力,公司策略得到放大而非偏离。双方快速整合工程团队,推出AI Canvas等项目,致力于解决企业IT数据孤岛问题。新举措包括将机器数据与业务洞察连接,推出面向Snowflake的联邦搜索功能。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。