企业业务稍微上点规模的,IT系统产生的数据很容易就超过TB级,并且资料文档等很容易超过亿级别的规模,如果用手动复制的方案来备份,基本是非常困难的;这种情况下,即使购买一些专业系统,随着数据量日益增大,跑起来也非常吃力。本文重点讨论如何基于云平台,来实现对应的解决方案。

TB级海量文件场景特点

文件规模大,动作上千万级规模 文件目录结构多,层次多 文件大小从KB 到MB,GB,甚至百GB级别分布 文件变化快,或者有批量增加的场景 无用的,有用的,混在一起 时间分布久,跨度大 文件类型文本,视频,图片,压缩等都有 单个节点的数据量上TB级 总量上TB级,但分布在多个节点

面对如此特点,如果按照目前的设备+软件方案,在以下几点有非常大的缺陷:

1.升级扩展复杂,预先估计容量,后续扩展起来相当麻烦,必须的改变存储策略,或重新离线做数据迁移分布。如果初始购买的存储扩展有限,后期还不能很好的升级扩展。

2.3-5年左右的生命周期,也就是说,数据经过几年后,改造升级,购买新的方案是必须的,这样当数据上到百TB级别,整个工程实施也是相当复杂了。

3. 一次投入特别的贵,如果对原始TB级数据做专业备份保护,投入得数十万,具体到不同的行业,性能和保护窗口参数稍微提升,投入立即上升到百万级。

随着数据量的增长,超过一个量级,比如10TB级别,其实这类方案已经难于胜任了。

破解思路

基本上来说,要破解海量数量,以及TB级增长的难题,基于云的方案是目前最有前途的思路,云有4个核心好处:

备份1

1.存储和计算能力按需扩展

2.可靠,云的计算和存储分布特点,使得系统在计算和存储都具备传统结构不具备的数倍的可靠性

3.安全,基础云服务商自身在安全方面不计成本,比起自己构建IT设施,来得更加专业

4.扩展,开放性更好,使得构建的服务,更容易外部系统对接

目前在国内以及全球其他地区,都有成熟的云平台可以作为构建基础。当然,除了明显的优点外,也有1个缺点是,云毕竟在异地,速度方面没有本地来得快,所以在设计系统的时候,要充分考虑到此处特点。以此为基础,考虑构思如下备份系统的设计目标:

·最高性价比的TB级海量小文件备份服务

·支持分布式,多节点集中管理监控

·备份容易且快速恢复

结合云平台的优缺点,基本的设计思路大体如下:

规模上量:单点TB突破,分布式上量 最小空间占用:最大化变小数据 平衡性能开销:IO扫描和效益平衡 不做无用功:特征类型自适应处理 最近最快,最远最可靠:多级模式结合,平衡速度和可靠性

以下将围绕以上5个点展开,看一个专业级别的备份保护系统如何打造。

TB级突破

实现TB级突破,重点思路在于如何解决备份和恢复的速度,以及海量规模的数据块存储。而解决数据备份和恢复速度的关键在于组织好数据索引;我们日常看到的网盘备份是简单的同步模型,很难胜任连续的数据块版本影射关系。而一个专业的备份系统,此处是必须要解决好。

架构上要突破纯云的方案,本地和云结合

备份2

纯云的方案,用了云的几个优势点,但也同时受云天生异地的特点影响,在传输效率方面是必定落后本地的方案,在强调速度的备份和恢复场景下,只有压缩数据,加大带宽。因此,更好的专业级方案是兼顾云和本地的优势进行设计。

备份3

以下黄色部分,就是加的一层本地存储;本地客户端将以分块的形式把数据写入本地客户端,同时启动同步逻辑,把数据从本地同步到云存储。

备份4

TB级数据重点在索引管理上要下功夫,索引分为本地和云端两级

本地索引采用分段分布设计,突破传统RDB单库数量过大,查询过慢的瓶颈。本地索引模型读写相对简单,可以采用自己研发或开源的本地数据存储方案,Sparkey, levelDB,BDB,甚至MongoDB等都可以,实现索引库理论支持TB级以上的的索引大小,具体到文件为每条索引可做到100字节以内

索引容量: TB/0.1KB > 100亿条索引

备份5

按照简单的顺序存取模型,海量的目录,文件索引,这种分级模型的索引框架,可以轻松解决TB级数据与海量小文件场景的管理。

当然,如果离开了异地配合,这种方案还是不完整的。因此在云上,要支持更大规模的索引容器。幸运的是,在云上,我们可以选择的方案还比较多。可以基于MongoDB,LevelDB等优秀的列模型数据库,也可以基于云平台本身的分布式KV数据库来保存索引。

备份6

设备通过调度中心定位到云索引中心 ; 单个云索引中心采用NO-SQL DB分布式设计,具体按照任务ID进行分布。关于具体的索引容器,可以选择云平台提供的KV数据库,如果要更多灵活的控制,也可以自己选用专业的KV 数据库来构建。理论上云端可以管理索引的数量无限。

数据按系列段分块存储,提升混合云模型的速度参数

普通的量级数据读写,无所谓要不要分块了,但一旦规模上到TB级别,特别在文件量变化快的场景,要尽可能缩短备份窗口,必要的数据存储组织就显得非常的关键。其数据存储分为两部分,本地和云。

本地数据存储设计,可采用N *KB – N *MB 相对固定系列段的分块设计,兼顾读写效率与空间平衡分块采用期望分块方案,尽可能让分块分布在1个区间,保证去重效果的同时,减低分块对索引记录数占用的数量。本文按照64KB 到 4MB的经验值方案来计算.

总可索引数据量区间:理论最小管理数据 100亿* 64KB = 600+TB , 理论最大管理数据 100亿* 4MB = 40+ PB 这么大的规模,理论上已经远远满足数据存储管理需要。

对于数据上云,初始化系统这里可以把设备定位到不同的云数据中心,与索引位于同1个中心内;上传的数据异步化存储到云存储,或可同时异步到特定的块存储设备;对于块存储,提供合并机制,将小块进行合并存储,提高存储读写效率。所以,理论上云端冗余管理的数据量受限于云存储空间提供商的。

本地和云的数据存储组织方案,在本地通过相对分块序列的方案,在云采用云存储的方案,从KB-MB级的小数据块文件都可以轻松管理起来。

备份7

上图是基于索引和块存储结合的增量应用。任何一个数据块的变化都会第一时间,通过本地的索引块签名快速判断是否需要上传备份 ; 如果本地的索引无法启动,将从云端获取签名进行比对。任何一个需要备份的数据块,可以快速通过分块序列存储方案,保存在对应的数据块文件中。

通过并行冗余通道,提升上下云的速度、稳定和可靠性

互联网络本身是一个质量无法端到端保证的的一个网络,传输的稳定性会又多个环节影响。包括运营商网络,平台的网络,以及用户接入的网络等。对于一个专业级的备份系统,必须要考虑网络通道的连续、稳定运行。

备份8

以上,在任何一次客户端注册期间,一旦认证通过后,可以根据系统资源情况,分配合适的数据节点给客户端。 客户端可以根据情况,正常情况下,多通道并行传送 ; 一旦检测到通道出现问题,自动摘除 ;各个节点会上报数据到调度中心; 同时当链路恢复的时候,自动接入到系统中。下图就是示意多通道在同步到云,以及从云恢复或下载数据。

备份9

采用端到端加密数据块设计,结合数据块垮云分布机制,可靠保存备份到本地和云的数据

在备份体系中,数据保密性设计不依赖于人,从机制上保证数据备份到云是机密的。最常用的一种方案就是采用对称加密,具体可以采用AES,3DES 等算法。目前比较常用AES256位,而key的产生可以在客户端产生。Key一旦丢失,数据将无法恢复和使用。因此key的妥善保护,也是非常重要。

备份10

在基于块的加密设计中,结合云分布特征,数据被打散在不同的存储位置,因此在数据安全方面进一步增加了强度。基于目前的公有云平台的情况,在国内和国外都有几大主流的云存储平台,分布在全球。理论上,数据可以分步在任何一个地方。唯一考虑的是数据如何跨地区进行同步和分布; 当然这里可以先写入本地云中心,冗余块通过高速通道,再同步其他云中心,这里可以是同构的云,也可以是异构的云。

备份11

引入自动适应方案,提升海量文件和应用场景的适应能力

在海量文件情况下,由几种系统因素影响备份的效率和资源开销。备份系统如果全速开进,会消耗过多的计算和IO资源,如果是生产系统,势必也会带来冲突。以下是几种典型的需要规避的:

·压缩比例和CPU消耗的冲突

·磁盘IO和小文件随机分布的冲突

·强加密和CPU需求的冲突

·实时检测和系统资源的冲突

·文件类型和压缩效果的冲突

·备份带宽消耗

备份12

通过对带宽,压缩算法,文件类型定义等预定义策略,可以快速平衡好系统资源。这种适合在确定判断系统场景的情况启用。

对于无法预知的情况,启动自动监测机制,包括压缩比,是否硬件加密加速,是否需要启动实时或批量扫描等。

总结与展望:

随着云平台的成熟和发展,网络基础设施日益完善,用云构建的数据备份系统,可以充分利用天然的地区分布,运维简单,灵活扩展特点,以及弹性按需投入的优势,企业数据走向云端简单更加简单可行。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-07-30 12:55:44
Iaas Gartner:2018年全球IaaS公有云服务市场增长31.3%
据全球领先的信息技术研究和顾问公司Gartner统计,2018年全球基础设施即服务(IaaS)市场规模达到324亿美元,相比2017年的247亿美元增长了31.3%。亚马逊在2018年再次成为Ia <详情>
2019-07-29 19:48:40
云技术 全球公有云市场近五年趋向集中,微软、谷歌落败亚马逊
近日,亚马逊AWS、微软Azure和谷歌云为首的三大云服务商发布了最新财报。 <详情>
2019-07-20 17:39:19
云技术 2018年全球公有云市场规模1363亿美元 企业关注焦点从“云优先”转向“云效能”
近日中国信息通信研究院发布了《云计算发展白皮书(2019年)》,梳理了当下云计算产业态势,白皮书指出,全球云计算市场规模总体呈稳定增长态势。2018年,以IaaS、PaaS和Sa <详情>
2019-07-18 09:53:03
Iaas 2018年全球十大公有云IaaS服务商 中国占据四席
IDC发布的《全球公有云服务市场(2018下半年)跟踪》报告显示, 2018年全球公有云IaaS市场规模达到359.7亿美元,同比增长45.0%。 报告显示,自2016 年以来,中国已经跃居全 <详情>
2019-07-11 18:54:06
云资讯 公有云选型系列:蜂鸟网渐进式混合云之路(下)
对于那些有些历史的企业,它们既想拥抱云计算,同时原有的传统IT架构又无法割舍,如何兼顾它们,通过合理的组合采用混合云模式搭建起一个真正适合自己的IT新平台,是一个挑 <详情>