企业数字化转型过程中,数据价值被显著放大,大数据应用成为不少企业探索的重点。

从技术上看,大数据业务由于数据体量大,且数据量很多时候呈急速膨胀状态;在进行大数据计算分析时,对资源的需求呈现浪涌式特征,又偶有突发性,因此通过上云充分发挥资源按需使用按需付费的优势,成为了不少企业在探索大数据应用时的常见模式。

这其中,企业在综合考量数据安全性、可扩展、可管理和成本效益等因素后,混合云部署的方式就成为了企业的主流选择。

近日,腾讯云存储高级产品经理贺永红在混合云主题论坛上发表演讲,详解了大数据应用上云的新思路。

一、企业自建大数据的难点

企业数据中心自建大数据业务,一般会遇到扩容的问题,随着大数据分析在业务价值挖掘上的作用愈加重要,新增及突发的分析任务越来越多,此时,趋于饱和使用率的硬件资源便会成为瓶颈,从提交预算申领设备到新设备加入分析集群通常需要较长时间(有时会超过一个月),这样会也导致大数据计算结果延期交付。随着时间推移,大数据中存储的数据越来越多,如何降低数据的存储成本,在需要的时候又能快速分析。

二、大数据混合云存储之道

大数据混合云存储将IDC大数据和公有云大数据连接为混合云,通过存算分离(计算与存储分离),实现计算弹性伸缩;通过数据全生命周期自动沉降实现存储低成本。

三、大数据混合云存储中的关键技术

存算分离

存算分离,计算与存储分离,计算基于标准HDFS协议访问存储,计算资源和存储资源各自按需扩容;计算资源可以分钟级按需创建及销毁,数据存储在COS(Cloud Object Storage)「https://cloud.tencent.com/product/cos」统一存储层,集中存储、统一管理。

存算分离,让数据存储在云中对象存储COS上,计算集群直接分析COS中的数据,计算资源专注于计算,按需实现弹性伸缩,按需创建及销毁,不用维持冗余设备来保存数据;通过计算与存储分离,实现计算弹性伸缩,按需创建及销毁,可以节约大数据20-30%的成本。

2.高效存储

存储资源COS(Cloud Object Storage)海量、无容量上限、无需扩容、按需供给,高效、平滑接入大数据生态、按需使用付费、通过生命周期策略自动沉降极致降低成本。

COS中存储类型分为标准存储、低频存储和归档存储,通过配置数据全生命周期策略实现自动沉降:经常访问的数据放在标准存储,较少访问的数据放在低频存储,基本不访问的数据放在归档存储,以上三种存储类型,价格不同,例如归档存储刊例价就不到标准存储刊例价的1/3,数据自动沉降后成本节约20-30%。数据沉降归档后,能及时回热,需要用的时候能及时被计算集群访问。

3.统一管理

云上云下的统一管理,一致使用体验;在数据面云上COS与IDC中HDFS统一元数据管理,实现全量数据ETL(抽取、转换、装载)。在技术面,云上和云下均采用大数据开源组件,接入大数据开源生态,保持一致使用体验。

4.数据高效流动

云下与云上的数据流动,这里主要包括两种数据流动。

其一、数据在IDC与云上COS间快速水平流动;用户每天可往云上COS灌入200TB+数据,基于COS海量并发设计,可进一步加粗上传管道,加速数据上云。数据下云,一般是结算结果返回到用户IDC,这部分数据量比较小,是从海量沙子里掏出的金子,不存在技术挑战。

其二、数据在EMR「https://cloud.tencent.com/product/emr」计算与COS存储间快速垂直流动,在EMR进行大数据计算时,需要在瞬间从COS中读取大量数据到EMR中进行计算,关键技术是COS的高性能,来满足数据的快速读写。

四、腾讯云大数据混合云存储实践

腾讯云大数据混合云存储方案,经历腾讯内部业务(微信、QQ、腾讯视频等)长期打磨而沉淀下来。

腾讯云大数据混合云存储,包括三层:混合大数据引擎、任务统一编排、数据开发平台:数据开发平台实现数据价值开发,包括用户画像、广告推荐等;任务统一编排实现大数据任务在IDC及云中全局调度及计算弹性伸缩;混合大数据引擎对IDC及云中大数据进行管理。

某头部游戏直播公司,大数据体量大,很早就成立了近百人的专业大数据团队,以支撑近百P规模的离线、实时流式数据的高效存储计算及数据科学探索。

其大数据架构如图,左边本地IDC,右边腾讯云 EMR ON COS,通过专线打通,数据互通,优先上传分析用到的数据,将数据导入到腾讯云COS中;基于存算分离,通过腾讯云EMR产品创建的Hadoop集群分析已导入到COS中数据。分析任务结束后,销毁EMR集群,不再产生费用,COS数据自动沉降进一步降低成本。

五、结语

腾讯云大数据混合云,能够实现大数据业务平滑上云,并实现对已有IDC硬件资源的合理利用,实现业务弹性伸缩,实现存储资源和计算资源的高效利用。

未来,腾讯云存储还将以业务场景为指引,推出更多高效的云存储方案,并结合生态资源,为用户提供更好的云上存储服务。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2020-07-01 09:11:11
云资讯 布局云计算大数据 提升核心竞争力
今年初,突如其来的新冠肺炎疫情打乱了原本的生活和工作节奏。为支持各类企业利用云服务加快复工复产,省大数据局编制了《强化疫情防控灵活复工复产优惠云服务应用推荐名录 <详情>
2020-07-01 09:02:53
国内资讯 一带一路”互联网数据开放交换共享试验区项目开工
6月30日,“一带一路”互联网数据开放交换共享试验区项目在连云港连云区及金石泰诚集团北京本部联合举行云开工活动。 <详情>
2020-06-30 13:32:21
市场情报 麒盛科技睡眠场景的大数据——智能床与健康发布
6月29日,2020“数博发布”活动中,“睡眠场景的大数据——智能床与健康”成功发布。 <详情>
2020-06-29 11:21:57
大数据资讯 微信端午出游大数据:微信支付笔数同比增长43% 90后最爱出游
大数据显示,上海、广州、杭州成为此次端午全国热门旅游目的地TOP3。 <详情>