Hadoop是一个开源软件框架，它在近十年前开始流行。ApacheHadoop在当时是一项突破性的创新，企业在处理大量数据时遇到了存储问题。它通过提供Hadoop分布式文件系统（HDFS）进行存储和MapReduce进行数据分析和处理，重新定义了企业处理、分析和存储数据的方式。据公关通讯社报道，到2012年，财富50强中超过一半的公司采用了Hadoop。
Cloudera在2008年成为第一家致力于Hadoop的公司，MapR和Hortonworks紧随其后。Hadoop技术成为财富500强公司的最爱，然而他们却宣布放弃这项技术。在经历了这样一段开拓性的旅程并受到如此多的崇拜之后，为什么Hadoop今天会经历相当大的衰退呢？
导致崩溃的变化
云的出现在Hadoop采用率的下降中扮演着关键的角色。2018年，Twitter宣布迁移至谷歌云，以提高生产力并满足其不断增长的需求。此外，他们还表示，他们的Hadoop文件系统存储了超过300PB的数据，他们正在将Hadoop计算系统转移到Google云上。
自从云服务普及以来，这不是一个孤立的案例，许多公司决定转向云，以获得更好的大数据解决方案和高级数据分析。下一个路径，一家自动化云迁移公司最近宣布了Crawler360的增强功能和移位™，他们的两种迁移技术，可以轻松快速地从Hadoop迁移到所需的云平台。
NextPathway的首席战略官Vinay Mathur在接受采访时说：“我们承诺会比最终得到的更多。随着数据量和分析要求的复杂性增加，它根本就不起作用了。”根据下一份平台报告，他们与财富500强中的高端公司的对话使他们意识到，他们正在对Hadoop失去兴趣。
与经常因维护费用而受到指责的本地Hadoop技术相比，云技术承诺了可扩展和高效的大数据处理。它也不能很好地处理迭代数据，对于大量的小数据集，它通常被标记为低效的解决方案。对实时数据分析的不断增长的需求也导致了人们对Hadoop兴趣的下降。
很多时候，运营商将大量非结构化数据转储到分布式文件系统中，这会增加交付解决方案的复杂性。云计算减少了混乱，同时它还提供了一个可扩展的经济高效的平台。
Hadoop死了吗？
没有人应该那么悲观。像Hadoop这样的技术可能会发展，但不会完全消失。AlliedMarketResearch公司的报告显示，到2027年，全球Hadoop市场预计将达到3403.5亿美元，而2019年为267.4亿美元，2020-2027年复合年增长率为37.5%。这不矛盾吗？Hadoop可能正在经历一场中年危机，最终可能导致技术更加成熟。
尽管Hadoop的采用率可能会下降，但它不会消失，因为如果不用于分析，它仍然可以用于丰富的数据存储。未来几年，企业可能会利用基于云的基础设施和内部基础设施，使用混合方法进行数据存储和分析。在这里，它将有一个相当大的范围，因为它是一个公认的技术，具有成本效益和可扩展的数据存储系统。
热门专题
