随着云计算大数据的普及,越来越多的IT公司选择将自己的大数据解决方案部署在云上面。云计算和大数据的结合带来了什么便利呢?一个典型的大数据云又是如何设计和部署的呢?

下面我们以Google Cloud作为例子,讲解在工业界里边是如何实际应用云。

Google Cloud

Google作为分布式系统和大数据的领导者,开发了众多跨时代的产品。几乎每一个Google的产品,写出一篇paper就可以创造一个开源社区的。

比如MapReduce发布之后,开源社区根据Google的一篇论文开发出的Hadoop,BigTable发布之后,开源社区又进一步开发出Hbase等等。可以说没有Google的创新,就没有现在开源社区的繁荣。

微信截图_20170711181129

而Google又把自家的产品,都放在Google Cloud上面,形成了丰富多彩的产品线,吸引了非常多的大大小小的公司如Snapchat等来使用。

Google App Engine (GAE)

我们都知道Web项目都需要大量的Web Service以及为之服务的运维系统。Google在云计算领域首次尝试的就是Google App Engine (GAE),相对比当时的Amazon EC2,GAE只需开发者上传软件代码,其他部署将由Google完成。

微信截图_20170711181426

用户只需要熟悉后端语言开发即部署大规模的集群。Google今年更是推出了GAE Flex,可以帮助用户实现auto-scaling,用户不再需要自己部署负载均衡的服务了。大部分中小企业的网站几乎都可以无缝衔接到GAE上。

BigTable

BigTable的底层是注明的Google File System (GFS),他实现了数据中心级别的可靠的分布式存储。

也是最早的NoSQL数据库的一种。各种网站如果有需要永久存储的数据,一般都可以存放在BigTable里边,Google Cloud会自动帮你做replication,分布在不同的服务器节点里边,这样实现了可靠的分布式存储。

Dataflow

Dataflow的底层实现利用了大名鼎鼎的MapReduce的升级版Flume。

Dataflow特别方便进行大量的批处理,举个例子来说,比如要把所有的用户数据里边的格式都升级一遍,用GAE或者其他service是很难实现的。

微信截图_20170711181441

Dataflow也提供了特别多的接口,诸如BigQuery, Datastore, BigTable等等也是为了方便各种批处理。最近Google还提供了streaming(流服务)版本的Dataflow,可以实现持续不断的批处理。

BigQuery

BigQuery相当于是Cloud version的SQL,可以方便使用各种复杂的查询语言查找数据。这个尤其适合数据分析师进行各种数据分析,几乎各种SQL的语法都是支持的。

微信截图_20170711181456

但是BigQuery在scaling上并不如BigTable,并不是面向用户的,所以并不适合直接用来存储用户数据。只适合做一些离线分析,数据来源很多都是Dataflow从BigTable里边dump出来的一些拷贝。

其他服务

Google Cloud还有非常多的其他服务,诸如支持消息队列处理的Pubsub,支持缓存的Memchace,支持Monitoring的Stackdriver,等等完整的构成了一个企业数据云所必须的各种服务,可以满足大到Snapchat级别,小到各种startup的不同业务需求。

关注中国IDC圈官方微信:idc-quan或微信号:821496803 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-07-19 14:11:00
云安全 俄罗斯基础设施黑客团队指南
俄罗斯可能是全球唯一一个,有多个知名黑客团队数年来对能源公共事业下手的国家。每个团队都有各自独特的技术、宽泛的目标范围和动机——而解密这些攻击背后的组织,可辅助 <详情>
2017-07-19 12:06:10
国内资讯 国家大数据中心等建设提速 中心地区带动发展趋势凸显
以中心地区带动发展已经成为我国目前培育经济新动能的主要方,向记者从多个部门了解到,以北京、上海等大城市为主,我国部署了多批国家大数据中心、国家科学中心、国家制造 <详情>
2017-07-19 12:05:00
大数据资讯 苹果落地贵州,并非正巧砸中了谁的头
落户贵州的iCloud主数据中心是苹果公司在中国建立的第一个数据中心,该项目的成功合作有利于提升苹果iCloud中国用户体验和服务质量,对加快贵州大数据综合试验区建设具有重 <详情>
2017-07-19 11:53:03
云资讯 “黑科技”驱动云计算成为生产力
在过去几年间,云计算的兴起一直被认为是科技领域最重要的趋势之一。是什么力量让它发展得如此迅猛,以至于上升到社会生产力这样的高度? <详情>
2017-07-19 11:37:23
Saas 5年内,云计算和SaaS收入将每年增长四分之一
到2020年,云计算和SaaS市场规模将达到2000亿美元。云计算和软件即服务(SaaS)的营收每年将增长23%至29%,直至2022年。 <详情>