虽然企业部署Hadoop大数据系统的最终目的是进行“性感”的分析应用,但是大多数企业距离这一目标还很远很远。
根据IDC发布的Hadoop-MapReduce软件生态系统预测报告,Hadoop 市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实,作为大数据分析应用的代名词,Hadoop的流行其实与数据分析无关。 实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析,而是把Hadoop作为一种廉价的海量存储和ETL(抽取、转换、加载)系统。
穷人的ETL
虽然被打上了“大数据分析工具”的标签,但在大多数企业眼里,Hadoop是“穷人的ETL”。目前确实有个别企业将Hadoop用于运行激动人心的分析工作,但这只是个案。Cloudera曾提出Hadoop的三大应用模式:Transform、Active Archive和Exploration,但是业内人士分析,目前至少有75%的部署Hadoop的企业还都只是停留在前两个模式中:将Hadoop作为廉价的ETL方案,或者用作垃圾数据填埋场。
Hadoop之路
Hadoop诞生已经7年了,但是Hadoop在企业中的应用还有很长的路要走。451研究所的分析师Matt Aslett在Hadoop峰会上的演讲指出,企业采用Hadoop需要经历三个发展阶段,从一开始用来存储海量数据,到对数据进行处理和转换,到最终开始分析这些数据。我们还处于Hadoop市 场和技术生命周期的早期阶段,Rainstor的调查显示,即使是最高级的Hadoop用户,也认为Hadoop最大的挑战是时间(26%)和编程 (25%)。根据Gartner的调查,目前只有6%的企业开始部署大数据项目,企业还需要更多成功案例指路,同时也需要更多时间消化相关技术。