随着社会数字化转型加速,以及5G和边缘计算等概念落地。各种结构化和非结构化数据正在以几何倍数暴增。据相关资料显示,全球年新增数据量到2025年将达175ZB。届时,真正能存储下来的数据仅有15ZB左右,流失率超过91%。
之所以造成这种情况,一方面是难以清晰界定数据价值,但更主要的是因为存储成本过于高昂。举例来说,如果采用当下主流的8T硬盘来存储175ZB的数据,需要230多亿块硬盘,硬盘单价按照1300元人民币计算,需要花费30万亿元,大约相当于2019年中国GDP的三分之一。但这仅仅只是硬件购置成本,由于大量数据本地存储而产生的运维、安全防护,以及人工成本则并未计算在内。
在这样的背景下,归档存储的概念应运而生。这是一种将海量、非结构化数据长时间备份的方式,实现数据的容灾和备份。按照目前流行的方法,数据被分为热,温和冷三个档次。一般来说,在数据在产生初期热度高,而在6个月之后将会逐渐由温变冷......这样,如果通过归档存储的方法,就可以用较低的成本存储海量的冷数据。
8月6日,UCloud正式发布新一代归档存储产品,该产品采用UCloud全新自研存储架构,相较标准存储降低近80%的存储成本,价格低至0.024元/GB/月,与市场同类归档存储产品相比降低近30%成本。除此之外,该产品还有颇多亮点,中国IDC圈的编辑在产品发布之后就相关问题与UCloud存储平台研发总监吴斌炜和UCloud存储平台资深研发工程师方然做了深入沟通。
UCloud存储平台研发总监吴斌炜
归档存储存在巨大市场潜力,未来需求广阔
随着云计算的普及,已经有越来越多的企业通过云平台保存诸如图片、文本和音视频这样的非结构化数据。这也就是目前比较各大云平台普遍提供的对象存储服务,这种服务的适用范围十分广泛,而且随着社会数字化转型加速,有越来越多的传统企业也开始逐步适应这种方式。
吴斌炜先生表示,包括UCloud在内的主流云计算服务商,都会把标准存储,低频存储统称为对象存储,这也是目前应用范围和市场前景都很广泛云存储方式,但我们今天提到的归档存储也正是从对象存储的一个子形态发展而来。
对象存储更多的是指数据当中的热存储,但其实当中的很多数据由于访问频度很低,完全可以通过归档整理的方式,以更低的成本加以存储。这就好比夏天的时候我们会把冬衣放在柜子里面,而将夏装挂在柜子外面的道理一样。这样既可以保证热数据的访问效率,也可以降低冷数据的存储成本。因此,归档存储在未来的前景会比对象存储更广泛。
特别是目前新兴的互联网公司对这种存储方式接受程度较高。我们以短视频平台为例,由于其UGC的属性,每时每刻都在产生大量的内容数据。但这些数据由“热”变“冷”的过程非常短,如果用传统的对象存储方式保存,那么其成本会非常高昂。但通过归档的方式保存,将“冷”“热”数据区别对待,则成本下降会十分明显。
UCloud存储平台资深研发工程师方然
归档存储在传统行业也将大有可为
除了互联网公司以外,随着传统企业上云步伐加快,很多传统企业也开始摒弃本地存储的方式,转而采用私有云对数据进行存储。吴斌炜表示,传统企业由于惯性思维和成本方面考虑,很多都还在采用本地的蓝光磁带存储,而对象存储在这方面优势并不明显,但归档存储则很好的弥补了这一点。
另外,随着政策的逐步宽松,很多原本对数据安全有较高需求的企业也开始将数据通过云端进行保存。“虽然现在很多企业还青睐私有云,但由于运维成本原因,我认为逐步会向公有云过度。特别是UCloud归档存储的数据上传并不收费,这对于大量需要保存的冷数据而言很有价值”,吴斌炜说。
UCloud存储平台资深研发经理方然表示,为了降低硬件成本,UCloud新一代归档存储在国内首次采用了西部数据的高密JBOD机型和SMR盘,并首次利用自研存储架构实现该技术落地。SMR盘全名为叠瓦式磁记录硬盘,相较于传统CMR磁盘,SMR磁盘大的区别是,它的磁道是按Zone呈现的叠瓦式分布,这种分布带来的好处是可以更高密度的存储数据。与36盘传统机型相比,采用高密机型SMR盘后,单位机架的存储容量提升5.375倍,磁盘数量增加59%,单块磁盘存储空间提升150%。
除此之外,UCloud还通过软硬件协同的理念,降低运营成本。结合硬件的选型,UCloud新一代归档存储在软件层面上自主研发了一套磁盘上下电调度系统,可以保障磁盘的寿命的同时,极大降低电费成本,使磁盘能耗降低近90%, 在纯写入场景下,耗能磁盘块数为原有的5%。
“通过一系列软件和硬件方面的策略,我们可以把综合成本将到最低,从而有效提升归档产品的市场竞争力”,方然说。
后记:
在新基建的推动下,云计算未来会大行其道,而数字经济也会衍生出各种应用场景。在线教育、云游戏、自动驾驶、智慧社区、智能制造不一而足。因此,数据的爆发势不可挡,如何面向这些场景,为用户提供最优的解决方案从而令其存储更高效,就成为了各家云平台必须考虑的问题,而UCloud的归档存储产品,确实是一个不错的思路。