所有大数据和Hadoop生态系统相关的企业都非常兴奋,因为这其中很少有企业会被淘汰出局,但企业似乎并没有找到Hadoop的正确打开方式,不过这也不影响他们不断地砸钱。如果试试将整个生态系统搬到云端,就会发现一切都不一样了。

云端1_meitu_1

根据Gartner的初步估计,2016年Hadoop的分配支出达到8亿美元,比2015年增长了40%。不幸的是,所有这些支出中只有14%的企业实际用于Hadoop部署,与2015年的10%相差无几。

一大亮点是:Hadoop部署越来越多地迁移到云,在那里可能有更多的机会成功。

在你对“Hadoop”这个词不以为意,认为它已经被Apache Spark或者其他大数据基础设施所取代的时候,你就错了。

Gartner在其对“Hadoop”的调查中包括所有“商业打包和支持的开源Apache相关项目”。换句话说,老式HDFS和MapReduce包含在Gartner的定义中,YARN,Pig,Hive,HBase,ZooKeeper,Avro,Flume,Kafka,Oozie,Parquet,Solr,Spark和Sqoop也包含在其中,整个调查结果是非常全面客观和可信的。

事实上,正如Gartner分析师Merv Adrian解释的,“调查是与所有大数据项目相关的。”当然,盲目信任也是不可取的,考虑到大数据已经成为主流,大数据Hadoop项目也成为主流选择的观点是错误的。

正如Gartner所说,企业似乎陷入了不断进行Hadoop实验的状态,却迟迟不能投入实践:

云端2_meitu_2

▲Gartner

不仅2016年的Hadoop部署只有小幅增长,部署的渠道也全面下降。我们需要深入研究一下大数据定义,历史数据可能并不总是好的:

云端3_meitu_3

▲Gartner

总之,大数据已经进行了足够的炒作,但还没有得到应有的成功。

搬到云端!

Hortonworks最近一个季度,收入同比增长了39%。在2016年,该公司的收入接近2亿美元,其中1.26亿美元来自Hadoop平台。

对于Hortonworks而言,这一成功最可能归结于其对云不断增长的拥抱。目前有大约25%的Hortonworks客户在其公有云中运行其软件,要知道在两年前这个数字大约是0%。云端才是开发人员想要的软件运行地,而Hortonworks则抓住了这一趋势。虽然亚马逊和微软Azure,可能远远超过Hortonworks,Cloudera或MapR,成为Hadoop转向云端的直接受益者,但这是一个企业必须承认的潮流。

Hadoop部署迁移到云的主要驱动力之一是用Hadoop工作的复杂性。几乎每天都有一个新的Apache项目补充进来加速Hadoop创新,这是除Google之外的主流企业不可能跟上的步伐。例如,想要获得最新好的流媒体分析数据,其他企业通常使用的是不成熟并且缺乏支持的软件,Gartner指出。

Gartner表示,基于云的交付模型允许企业更好地吸收Hadoop生态系统中的组件(通常是Apache项目)的不断变化。将升级Hadoop组件的繁重工作留给云提供商,这也使得更容易管理、分离存储和计算。

坦率地说,这也是大数据项目的特征使然。正如AWS产品战略负责人马特·伍德(Matt Wood)说的那样,那些出去购买昂贵基础设施的企业会发现问题范围和域名的转移真的很快,当他们准备好解决原来的问题时,业务早已经开始变化了。换句话说,云不仅使大数据可管理,而且也使其更具生产力和竞争力。

将Hadoop生态系统迁移到云端这件事,传统的Hadoop供应商是不会做的,考虑到越来越多的数据将存在于亚马逊、微软和谷歌的公有云上,数据的力量很可能推动企业将Hadoop搬上云端。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2021-12-07 11:35:00
大数据技术 ClickHouse vs StarRocks选型对比
一般来说,ClickHouse适合于维度变化较少的拼宽表的场景,StarRocks不仅在单表的测试中有着更出色的表现,在多表关联的场景具有更大的优势。 <详情>
2021-08-25 11:24:23
大数据资讯 Hadoop大数据“存算分离”,柏科数据 ISCloud分布式存储"提质增效"
业内新扩容方式“存算分离”架构的优势逐渐明显,“存算分离”成了大数据架构发展的必然趋势,成了解决行业用户在使用Hadoop时,面临计算资源浪费、存储性能低、管理成本过 <详情>
2021-05-07 11:11:30
云资讯 随着云计算等颠覆性技术的出现Hadoop将会过时
Hadoop是一个开源软件框架,它在近十年前开始流行。 <详情>
2020-02-28 18:00:43
云资讯 金山云容器引擎实践 为更多大数据用户赋能
随着云原生技术的加速普及,Kubernetes逐渐成为IT技术架构的基石,并推动着各行业技术架构的转型升级。 <详情>
2019-11-19 18:01:00
云资讯 合理建立Hadoop数据湖的7个步骤
数据湖的概念起源于大数据的出现——且数据已成为企业的核心资产,Hadoop则是作为存储和管理数据的平台而出现。但是,盲目地投入Hadoop数据湖建设并不一定会使您的企业进入 <详情>
总投资58亿元,深圳本贸重庆新型算力中心项目正式主体基础施工阶段
2026-05-29 16:30:00
总投资估算15.5亿元,中国电信杭州大数据处理(二期)项目方案进入公示阶段
2026-05-27 14:30:12
字节跳动巴西数据中心签署20亿美元绿电合同
2026-05-27 11:32:26
完整嘉宾阵容公布:500+全球算力产业领袖齐聚曼谷|DIFGC 2026·Thailand
2026-05-26 19:28:03
PDG拟出售中国区数据中心资产,估值或达10亿美元
2026-05-26 14:49:32
运营商Token套餐热潮,究竟是新赛道还是资本泡沫?
2026-05-26 10:46:00
参会指南|与您畅游 数字基础设施全球合作发展曼谷论坛
2026-05-25 11:07:01
发改委明确优先支持算力设施"绿电直连"!智算下半场已至, 8 月上海这场盛会不可错过
2026-05-25 11:01:01
案例征集|科智咨询《算力底座之争:智算芯片产业链、竞争态势与趋势研判白皮书》启动参编征集
2026-05-25 09:24:15
SpaceX斥资28亿美元 为数据中心采购燃气轮机
2026-05-22 10:11:28
AI行业最大的错配:我们都在为Token买单,却还按囤卡思维投资
2026-05-22 09:50:00
商汤林海谈AIDC:“通用标准”已不再是最优解,“适用高效”成为新法则
2026-05-21 10:48:23
东南亚AI数据中心迎“寒武纪时刻”,当前面临最大挑战是什么?
2026-05-21 10:15:26
5月27日•曼谷,DIFGC 2026•Thailand正式启幕!500位产业领袖齐聚,聚焦AI数据中心本地化交付与绿色能源协同
2026-05-21 09:24:00
35小时智能体自主进化!千问旗舰模型Qwen3.7-Max重磅发布
2026-05-20 11:22:17