所有大数据和Hadoop生态系统相关的企业都非常兴奋,因为这其中很少有企业会被淘汰出局,但企业似乎并没有找到Hadoop的正确打开方式,不过这也不影响他们不断地砸钱。如果试试将整个生态系统搬到云端,就会发现一切都不一样了。

云端1_meitu_1

根据Gartner的初步估计,2016年Hadoop的分配支出达到8亿美元,比2015年增长了40%。不幸的是,所有这些支出中只有14%的企业实际用于Hadoop部署,与2015年的10%相差无几。

一大亮点是:Hadoop部署越来越多地迁移到云,在那里可能有更多的机会成功。

在你对“Hadoop”这个词不以为意,认为它已经被Apache Spark或者其他大数据基础设施所取代的时候,你就错了。

Gartner在其对“Hadoop”的调查中包括所有“商业打包和支持的开源Apache相关项目”。换句话说,老式HDFS和MapReduce包含在Gartner的定义中,YARN,Pig,Hive,HBase,ZooKeeper,Avro,Flume,Kafka,Oozie,Parquet,Solr,Spark和Sqoop也包含在其中,整个调查结果是非常全面客观和可信的。

事实上,正如Gartner分析师Merv Adrian解释的,“调查是与所有大数据项目相关的。”当然,盲目信任也是不可取的,考虑到大数据已经成为主流,大数据Hadoop项目也成为主流选择的观点是错误的。

正如Gartner所说,企业似乎陷入了不断进行Hadoop实验的状态,却迟迟不能投入实践:

云端2_meitu_2

▲Gartner

不仅2016年的Hadoop部署只有小幅增长,部署的渠道也全面下降。我们需要深入研究一下大数据定义,历史数据可能并不总是好的:

云端3_meitu_3

▲Gartner

总之,大数据已经进行了足够的炒作,但还没有得到应有的成功。

搬到云端!

Hortonworks最近一个季度,收入同比增长了39%。在2016年,该公司的收入接近2亿美元,其中1.26亿美元来自Hadoop平台。

对于Hortonworks而言,这一成功最可能归结于其对云不断增长的拥抱。目前有大约25%的Hortonworks客户在其公有云中运行其软件,要知道在两年前这个数字大约是0%。云端才是开发人员想要的软件运行地,而Hortonworks则抓住了这一趋势。虽然亚马逊和微软Azure,可能远远超过Hortonworks,Cloudera或MapR,成为Hadoop转向云端的直接受益者,但这是一个企业必须承认的潮流。

Hadoop部署迁移到云的主要驱动力之一是用Hadoop工作的复杂性。几乎每天都有一个新的Apache项目补充进来加速Hadoop创新,这是除Google之外的主流企业不可能跟上的步伐。例如,想要获得最新最好的流媒体分析数据,其他企业通常使用的是不成熟并且缺乏支持的软件,Gartner指出。

Gartner表示,基于云的交付模型允许企业更好地吸收Hadoop生态系统中的组件(通常是Apache项目)的不断变化。将升级Hadoop组件的繁重工作留给云提供商,这也使得更容易管理、分离存储和计算。

坦率地说,这也是大数据项目的特征使然。正如AWS产品战略负责人马特·伍德(Matt Wood)说的那样,那些出去购买昂贵基础设施的企业会发现问题范围和域名的转移真的很快,当他们准备好解决原来的问题时,业务早已经开始变化了。换句话说,云不仅使大数据可管理,而且也使其更具生产力和竞争力。

将Hadoop生态系统迁移到云端这件事,传统的Hadoop供应商是不会做的,考虑到越来越多的数据将存在于亚马逊、微软和谷歌的公有云上,数据的力量很可能推动企业将Hadoop搬上云端。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-07-26 14:10:50
云技术 企业如何在不超出预算的情况下将业务迁移到云端
当企业需要IT升级时,将其业务迁移到云端就是最终答案吗? <详情>
2019-07-22 16:47:56
大数据技术 Hadoop与 Spark - 选择正确的大数据框架
我们被各方的数据所包围。随着数据每两年增加一倍,数字世界正在快速追逐物理世界。据估计,到2020年,数字宇宙将达到44个zettabytes - 与宇宙中的恒星一样多的数字位。 <详情>
2019-07-22 16:45:49
大数据技术 Hadoop现在怎么样了?
之前我们提到大数据的时候就会提到Hadoop,Hadoop是大数据的基础框架,是大数据技术的代表。提到HDFS、MapReduce、Yarn,提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一 <详情>
2019-07-17 16:42:54
大数据应用 Spark和Hadoop的架构区别解读
总的来说,Spark采用更先进的架构,使得灵活性、易用性、性能等方面都比Hadoop更有优势,有取代Hadoop的趋势,但其稳定性有待进一步提高。我总结,具体表现在如下几个方面 <详情>
2019-07-15 17:07:10
云资讯 在云端:关于云计算的经济学
2008年,时任微软亚洲研究院常务副院长的王坚被马云挖回了阿里巴巴,开始担任首席架构师一职。从入职开始,王坚就开始了自己的“被喷”生涯。王坚兴奋地告诉自己的新同事们 <详情>