背景:企业数字化转型进程不断加速,物理世界与虚拟世界正在融合。当两个世界不断以数据的形式互相映射和影响的时候,时代将从量变积累到质变。新数据时代元年已经到来。
正文:
10月18日,在IDC中国数字化转型年度盛典上,IDC与浪潮联合发布了《2019年数据及存储发展研究报告》。在深度探讨中国数字化转型现状的基础上,报告提出,2019年中国迈入新数据时代元年。
报告显示,在2019年中国数字化转型IT支出首次超过非数字化转型IT支出,占比达到51%。随着数字化转型的不断加速,行业新应用爆发式增长,从数千、数万跃升到百万量级,数据呈现出海量、多元、实时、多云等趋势。数据存储成为承载产业转型的基础平台,分布式存储成为趋势,2023年其占比将达到40%,闪存阵列将迎来高速发展。
新数据时代元年,海量、多元、实时、多云的新数据特征
通过对金融、交通、电信、能源、医疗等行业的研究,报告指出新数据时代下表现出的新数据特征:数据海量增长,到2025年全球新创建的数据将达到175ZB;企业对实时数据需求增加,到2023年实时数据占全球数据圈24.5%的份额;未来全球将有超过70%的企业选择多云部署模式,到2023年42.4%的企业将采用边缘+核心的组合架构,核心数据中心的数据存储容量占比将超过50%。
首先,海量、多元和非结构化成新数据时代常态。报告显示,2019年,全球存储新装机容量从EB级达到ZB级,2025年全球新创建的数据将达到175ZB。数据环境多样、复杂,数据从单一内部小数据形态向多元动态大数据发展,大量文本、图片、视频等非结构化数据被产生和存储。例如,在智慧城市场景中,中国的摄像头保有量已经达到亿级,加之交通系统往往会存储相当长时期内的历史数据用于查证和回溯,由此产生的海量新数据给存储系统带来压力。
其次,数据的实时性需求变得更迫切。随着互联网、物联网以及人工智能等技术在各行业的不断渗透,企业对于数据实时性的需求日益增加。报告显示,到2023年,实时数据将占全球数据圈24.5%的份额。金融的风险评估、交通的自动驾驶、运营商的智能网络等许多场景,都需要依赖快速实时的数据采集、存储和分析得以实现。
再次,基础架构向云-边-端演进,重要的数据存储位置依然在核心。未来两年,全球将有超过70%的企业选择多云部署模式。2023年,将有42.4%的企业采用边缘+核心的组合架构建立和运行数据库,设备架构从云+端的两级架构向云-边-端三级架构演进迭代。虽然数据的产生更多来自端侧和边缘,但重要的数据存储位置依然在核心,到2023年核心数据中心的数据存储容量占比将超过50%。由于现代数据中心的复杂性,数百个应用程序在数百台服务器上运行,同时还要运行数十种监测和管理工具,管理一直是云部署和云管理的重中之重。
新存储:分布式存储是新趋势,闪存阵列是企业存储加速首选
新数据时代数据呈现出海量、多元、实时、多云的特征。对于数字化转型中的企业来说,在数据存储的极致容量、极速性能、极简架构、极易管理等方面提出要求。报告建议投资闪存阵列以提升存储性能,以满足实时数据处理对百万级IOPS、亚毫秒级时延的需求;利用分布式存储架构在性能和容量扩展方面的优势,解决大规模、高并发场景下对存储的挑战。
闪存阵列凭借其性能和稳定性,成为企业存储加速的首选方案。目前,闪存阵列已经逐渐普及,新端口的固态硬盘、NVMe网络架构,使存储系统的性能有了大幅提升。未来,随着新技术带来的存储效率大幅提升,将有越来越多的企业选择闪存阵列来满足数据实时性应用需求。以山东高速ETC缴费系统为例,在其数千公里的高速公路上分布着多个路段信息分中心、收费站、收费车道、ETC客服网点,基于浪潮全闪存储系统实现0.1毫秒通行ETC, 日均清分业务处理量达到百万笔。
高效、易于扩展的分布式平台引领存储架构新趋势。分布式存储系统采用可扩展的架构,不仅能提高存储的效率和数据的安全性,还可以进行性能和容量的横向扩展,解决大规模、高并发场景下的存储访问问题。随着5G、物联网和人工智能的快速发展,企业对于分布式系统的需求将持续增加,分布式存储成为多云环境的首选平台。到2023年,40%的存储系统将是分布式存储架构。以成都三环路为例,浪潮分布式存储支撑了其超过6000路道路端口的视频流,每天1亿文件写入和10亿次查询,智能交通管理效率提升500%。
多云环境下,提升存储的可用性和管理能力。面对数据爆炸,存储必须随需应变,软件定义、智能化、多云间数据流动是存储未来的主流发展方向。比如浪潮以创新架构构建分布式存储,在一套系统内提供文件、块、对象、大数据等多种存储服务,支持Manila、Cinder、Nova、Swift接口对接,并通过智能运维软件管理多种设备,简化多云设备管理。在中国广电国网云平台中,浪潮存储平台打通底层分布式存储、虚拟化、OpenStack、云管平台,外部实现与网络SDN、云安全等平台对接,实现广电国网的三地互联互通和大规模业务支撑目标。
告别人工干预,存储将进入智慧运维时代。人工智能技术无处不在,将快速融入存储系统的发展,并在存储容量、性能、硬盘故障预测方面起到关键作用。在清华大学“中国脑计划”项目中,浪潮基于智能统一存储管理平台InView,对存储系统进行集中管理、智能监测和故障预测报警,保障每秒51亿像素、72小时连续写入不丢帧的脑科研项目顺利进行。
报告还针对新数据时代的存储未来发展提出了具体建议,基于云-边-端多元部署的趋势发展,企业需要制定从端到边再到核心的完整数据管理解决方案。针对多云环境的必然趋势,企业必须提升多云环境下的数据管理能力,同时持续关注NVMe、内存SCM等技术更新及AI技术应用。