所有大数据和Hadoop生态系统相关的企业都非常兴奋,因为这其中很少有企业会被淘汰出局,但企业似乎并没有找到Hadoop的正确打开方式,不过这也不影响他们不断地砸钱。如果试试将整个生态系统搬到云端,就会发现一切都不一样了。

云端1_meitu_1

根据Gartner的初步估计,2016年Hadoop的分配支出达到8亿美元,比2015年增长了40%。不幸的是,所有这些支出中只有14%的企业实际用于Hadoop部署,与2015年的10%相差无几。

一大亮点是:Hadoop部署越来越多地迁移到云,在那里可能有更多的机会成功。

在你对“Hadoop”这个词不以为意,认为它已经被Apache Spark或者其他大数据基础设施所取代的时候,你就错了。

Gartner在其对“Hadoop”的调查中包括所有“商业打包和支持的开源Apache相关项目”。换句话说,老式HDFS和MapReduce包含在Gartner的定义中,YARN,Pig,Hive,HBase,ZooKeeper,Avro,Flume,Kafka,Oozie,Parquet,Solr,Spark和Sqoop也包含在其中,整个调查结果是非常全面客观和可信的。

事实上,正如Gartner分析师Merv Adrian解释的,“调查是与所有大数据项目相关的。”当然,盲目信任也是不可取的,考虑到大数据已经成为主流,大数据Hadoop项目也成为主流选择的观点是错误的。

正如Gartner所说,企业似乎陷入了不断进行Hadoop实验的状态,却迟迟不能投入实践:

云端2_meitu_2

▲Gartner

不仅2016年的Hadoop部署只有小幅增长,部署的渠道也全面下降。我们需要深入研究一下大数据定义,历史数据可能并不总是好的:

云端3_meitu_3

▲Gartner

总之,大数据已经进行了足够的炒作,但还没有得到应有的成功。

搬到云端!

Hortonworks最近一个季度,收入同比增长了39%。在2016年,该公司的收入接近2亿美元,其中1.26亿美元来自Hadoop平台。

对于Hortonworks而言,这一成功最可能归结于其对云不断增长的拥抱。目前有大约25%的Hortonworks客户在其公有云中运行其软件,要知道在两年前这个数字大约是0%。云端才是开发人员想要的软件运行地,而Hortonworks则抓住了这一趋势。虽然亚马逊和微软Azure,可能远远超过Hortonworks,Cloudera或MapR,成为Hadoop转向云端的直接受益者,但这是一个企业必须承认的潮流。

Hadoop部署迁移到云的主要驱动力之一是用Hadoop工作的复杂性。几乎每天都有一个新的Apache项目补充进来加速Hadoop创新,这是除Google之外的主流企业不可能跟上的步伐。例如,想要获得最新好的流媒体分析数据,其他企业通常使用的是不成熟并且缺乏支持的软件,Gartner指出。

Gartner表示,基于云的交付模型允许企业更好地吸收Hadoop生态系统中的组件(通常是Apache项目)的不断变化。将升级Hadoop组件的繁重工作留给云提供商,这也使得更容易管理、分离存储和计算。

坦率地说,这也是大数据项目的特征使然。正如AWS产品战略负责人马特·伍德(Matt Wood)说的那样,那些出去购买昂贵基础设施的企业会发现问题范围和域名的转移真的很快,当他们准备好解决原来的问题时,业务早已经开始变化了。换句话说,云不仅使大数据可管理,而且也使其更具生产力和竞争力。

将Hadoop生态系统迁移到云端这件事,传统的Hadoop供应商是不会做的,考虑到越来越多的数据将存在于亚马逊、微软和谷歌的公有云上,数据的力量很可能推动企业将Hadoop搬上云端。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2021-12-07 11:35:00
大数据技术 ClickHouse vs StarRocks选型对比
一般来说,ClickHouse适合于维度变化较少的拼宽表的场景,StarRocks不仅在单表的测试中有着更出色的表现,在多表关联的场景具有更大的优势。 <详情>
2021-08-25 11:24:23
大数据资讯 Hadoop大数据“存算分离”,柏科数据 ISCloud分布式存储"提质增效"
业内新扩容方式“存算分离”架构的优势逐渐明显,“存算分离”成了大数据架构发展的必然趋势,成了解决行业用户在使用Hadoop时,面临计算资源浪费、存储性能低、管理成本过 <详情>
2021-05-07 11:11:30
云资讯 随着云计算等颠覆性技术的出现Hadoop将会过时
Hadoop是一个开源软件框架,它在近十年前开始流行。 <详情>
2020-11-26 09:44:25
大数据技术 学大数据需要具备什么基础和知识点?
学大数据基础包含涵盖大数据体系中的技术点,包括但不限于Linux、Zookeeper、Hadoop、Yam、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Soar <详情>
2020-08-18 15:10:27
大数据技术 大数据不再主流受欢迎,然而Hadoop仍然至关重要
如今,开源分析已牢固地成为企业软件堆栈的一部分,“大数据”一词似乎已经过时,并且Hadoop已成为死法已成为人们公认的民间传说。不过,这太夸张了;尽管Hadoop不再炙手可 <详情>