6月27日,阿里云宣布正式开源基于MongoDB的MongoShake数据同步平台(github地址),该系统可以跨数据中心进行数据同步,最高处理QPS可达50万左右,使得跨数据中心的高效的灾备和多活业务成为可能,解决了之前多个数据中心部署灾备不灵活、单点可写的问题,给业务带来便利,减轻运维压力,其相比于业内现有的方案具有较强的功能和性能方面的提升。

同时,MongoShake是一个通用型平台服务,作为数据连通的桥梁,打通各个闭环节点的通道。通过MongoShake的订阅消费,可以灵活对接以适应不同场景,例如日志订阅、数据中心同步、监控审计等。其中,集群数据同步作为核心应用场景,能够灵活实现灾备和多活的业务场景。

实现灾备、多活,解决多数据中同步两大难题

在当前的数据库系统生态中,大部分系统都支持多个节点实例间的数据同步机制,如Mysql Master/Slave主从同步,Redis AOF主从同步等,MongoDB更是支持3节点及以上的副本集同步,上述机制很好的支撑了一个逻辑单元的数据冗余高可用。

跨逻辑单元,甚至跨单元、跨数据中心的数据同步,在业务层有时候就显得很重要,它使得同城多机房的负载均衡,多机房的互备,甚至是异地多数据中心容灾和多活成为可能。由于目前MongoDB副本集内置的主从同步对于这种业务场景有一定的局限性,为此,我们开发了MongoShake系统,可以应用在实例间同步,机房间、跨数据中心同步,满足灾备和多活需求。

29d2319dd54cbbd7637c3a61a0f3621e9a2493f0

灾备、多活部署实例

数据库的多活和灾备指的是数据库在多个机房部署,互为备份,可以同时提供读写服务。目前MongoDB数据库比较欠缺这样的平台,有些现有平台能满足部分需求,但是在性能甚至功能上比较欠缺,为此,我们开源了我们的MongoShake系统,能够较大程度上满足开发者和应用者的功能需求。为了提高性能,我们采用了多端拉取、并行执行、冲突检测、异步优化等多种方式提高系统的性能,满足性能需求。功能方面,我们支持对数据库DML和DDL语言的同步,保证数据的正确性。

2f83020b6bce3faeed6a74ad3845521afc4f4b92

MongoShake数据流示例

MongoShake早已在阿里巴巴内部经历千锤百炼,目前已经在高德、天猫、淘宝等广泛应用。

历经多年的技术沉淀,阿里云数据库团队不断对MongoDB产品进行打磨,MongoShake作为MongoDB核心的生态化产品,致力于更好的为阿里云用户提供服务,也为广大开源用户提供服务。MongoShake的开源绝对不是发展的终点,我们会不断对产品进行迭代优化,也欢迎大家一起加入,共同维护MongoDB生态,推出更好的服务。

 

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-07-18 09:30:00
云资讯 云计算为全阿里的增速贡献了多少?
随着客户数量与平均客单价的提升,阿里云计算业务正在促进整个阿里帝国的增长。 <详情>
2018-07-18 09:00:36
云资讯 阿里云深耕工业制造,携手西门子布局工业互联网
对于阿里云来说,布局工业互联网的重要意义在于,通过在移动互联网领域沉淀了十数年的关键技术,与传统制造业业务相叠加,由此在微笑曲线的研发与设计、生产与制造、营销与 <详情>
2018-07-18 09:00:31
云资讯 阿里云:万亿新零售市场,实体产业将如何结合?
自 2016年新零售概念兴起,距今已有一年多时间,以新零售号称的各种新兴业态层出不穷,从新型商超、VR美妆、无人便利店到淘品牌体验店等等。 <详情>
2018-07-17 11:44:00
云资讯 华为云中标贵州移动公有云采购 在大企圈内阿里云比得上吗?
近日,贵州移动公布对公有云软件扩容进行采购,最终中标人只有华为一家,中标金额169.6万元。虽然金额不是巨额,但份额却是100%,可见贵州移动对华为公有云的青睐,其实在 <详情>
2018-07-17 09:35:00
云资讯 “树敌太多”的阿里巴巴是否就是中国的亚马逊?
亚马逊已经成为庞大的商业帝国,有人指出,亚马逊树敌太多,阿里巴巴从发展到业务模式都和亚马逊相似,两家公司都面临多家公司围剿,未来的阿里巴巴是否就是现在的亚马逊? <详情>