Hadoop在云环境中找到理想归宿

虽然相当一部分企业还没有找到更好的Hadoop使用方式,但这并不能阻止其不断在这一领域加大投入。根据Gartner的初步估计,2016年Hadoop发行版支出达到8亿美元,较2015年增长40%。遗憾的是,仍然只有14%的企业实际报告了Hadoop部署情况,仅稍高于上一年的10%。

一大亮点:Hadoop部署开始逐步转移至云端,并在这里找到更大的成功机遇。

人人都爱Hadoop

也许有些人认为Hadoop已经被Spark或者其它大数据基础设施所取代——实际上这一结论并不确切。

根据Gartner的定义,Hadoop概念涵盖了全部“商业化打包及支持的开源Hadoop相关项目版本”。换言之,除了传统的HDFS与MapReduce之外,Gartner还在其中融入了YARN、Pig、Hive、HBase、ZooKeeper、Avro、Flume、Kafka、Oozie、Parquet、Solr、Spark及Sqoop等项目。

事实上,正如Gartner分析师Merv Adrian所言,“这项调查主要面向各类大数据项目”。不过主流媒体给出的,各类大数据Hadoop项目都已经得到广泛接纳的观点则并不属实。

正如Gartner所指出,企业似乎一直在对Hadoop进行相关实验,但却多数未能将其纳入生产阶段:

除了2016年年内Hadoop部署量增长缓慢外,部署通道本身也呈现出下滑趋势。即使从更为狭义的Hadoop概念角度进行分析,大数据的实践比例也仍然相当有限:

总体而言,大数据技术确实引发了广泛关注,但还没能获得全面成功。

走向云环境

当然,大数据领域也不乏优胜者。Hortonworks就迎来了强劲的季度表现,其营收同比增长39%。2016年,该公司的营收总额近2亿美元,其中1.26亿来自其Hadoop平台的订阅收益。

不过其之所以能够获得成功,很大程度上要得益于对云计算的积极接纳。正如该公司在财报会议上所言,近25%的Hortonworks客户正立足公有云运行其软件,而两年前这一比例还仅为0%。

虽然这种云转型趋势可能夫给Amazon Web Services或者微软Azure带来更多收益,但作为一股强大的发展趋势,这将给大数据行业中的每家从业厂商带来推动作用。

将Hadoop部署方案迁移至云端的主要驱动因素之一,在于Hadoop自身的工作复杂性。考虑到用于补充及加速Hadoop创新的相关项目不断涌现,主流企业根本不可能跟上这样的节奏。因此除了谷歌这样资产雄厚的企业之外,Gartner表示其它企业“经常需要使用不成熟或者原本不受支持的软件”方可实现最新最强大的数据流分析能力。

作为回应,Gartner还表示,“基于云的交付模式允许企业更好地接纳Hadoop生态系统中的各类组件(通常为Apache项目),将始终存在的Hadoop组件升级工作留给云供应商处理,这将使得存储与计算的分离与管理工作更为轻松。”

坦率地讲,云正是大数据项目的理想归宿。正如AWS产品战略负责人Matt Wood所提到,“那些乐于购买昂贵基础设施的客户已经发现问题的影响范围与出现领域存在极快的变化速度。在他们还在努力为原本的问题寻找答案时,新的业务问题已经出现了。”换言之,云不仅能够为大数据技术提供可管理性,更能够帮助其真正实现生产能力。

不过如前文所述,这一波迁移浪潮可能并不会给传统Hadoop供应商带来收益增值。考虑到越来越多的数据开始驻留在Amazon、微软与谷歌提供的云平台上,也许未来企业将更倾向于直接使用这些平台提供的原生Hadoop服务。

本文作者:核子可乐

来源:51CTO

时间: 2024-10-26 13:27:42

Hadoop在云环境中找到理想归宿的相关文章

开发与管理在云环境中的不同

云计算的优点已经非常明显,主要体现在能够带来业务敏捷性.可扩展性.效率以及节省成本:而许多公司正在全力加快步骤,迁移和构建专门面向云环境的关键任务型Java应用程序.近日来,采访了AppDynamics 公司的工程技术主管Bhaskar Sunkara--一家专注于Java和云应用程序的应用程序性能公司,为云环境开发Java应用程序以及在云环境中管理这些应用程序面临的挑战,进行了探讨. 为云环境进行开发面临哪些挑战? 为云环境进行开发面临的主要挑战之一是,了解应用程序与服务的依赖关系(appli

IBM、谷歌、微软与Amazon如何在自己的云环境中解决机器学习难题

对于任何值得加以认真对待的云方案,其都需要满足用户对于功能的不断追求.机器学习显然应该被列入这份需求清单当中,而各大云服务供应商如今也已经拿出了自己的答卷. 不过其具体实现方式则又是另一码事了.除了"设计API对开放式算法市场"模型,市面上还存在着"涵盖一切对够用就好"这类衍生方案.下面我们将一同了解四大云服务供应商--IBM.微软.谷歌与Amazon--如何各自实现机器学习技术. IBM:率先起锚,沃森掌舵 自当初IBM公司宣布将其沃森AI系统转化为可消费服务以来

在复杂的商业环境中找到一个稳定的利基市场

在复杂的商业环境中找到一个稳定的利基市场,是企业当下最迫切的事. 在移动互联网时代,谈论实体商业似乎不那么性感.然而,我们却惊喜地发现:在阳光普照之处,社区已成为各路商业探索者的绿洲,实体经济老兵.新兴经济弄潮者摩拳擦掌,奔驰而来. 为什么要抢占社区? 用互联网的流行语来说就是,社区已经成为各路商家争夺用户的入口,因为它"用户量"增长迅速."数据"精准,并且是个"刚需"市场. 首先,城市化进程加速,促使社区的"用户量"激增.

扁平网络和EIP网络在不同云环境中的应用场景

通望通过本文可以帮助大家了解扁平网络和EIP网络这两种不同的云网络环境. 用户在搭建IaaS前,最大的问题就是该搭建哪种IaaS网络模型和在搭建该模型之前该如何在单机上准备必要的网络环境.今天我们来分析一下扁平网络和EIP网络分别在公有云和私有云中的应用场景. 1. 扁平网络 扁平网络是私有云环境中最常用.最简单的网络环境.用户的云主机和计算节点处于相同的网络层,用户的应用完全不会感知自己运行在云主机中.还是物理主机中.用户的应用会非常容易的从物理机迁移到扁平网络的云主机中. 在扁平网络中,假设

IDC:云环境中部署IT基础设施日趋流行

日前,市场调研机构IDC在一份报告中指出,2016年企业在云环境中部署IT基础设施的开支将增长18.9%,达到382亿美元.这些产品包括服务器.存储和以太网交换机. 尽管在非云环境中部署企业IT基础设施的开支有所下滑,幅度为4%,但是其仍然在用户开支中占据较大的份额,达到62.8%.需要注意的是,上述数字并不包括存储和服务器之间的重复计算. 私有云IT基础设施方面,开支将同比增长11.1%,至139亿美元.2016年,公有云IT基础设施的开支将增长14.1%达到244亿美元. 总体开支方面,以太

谷歌的Chrome OS操作系统似乎只能用在云环境中

[赛迪网讯]北京时间12月14日<商业周刊>文章指出,谷歌的Chrome OS操作系统似乎只能用在云环境中,它的目标市场似乎也只是企业用户市场,而不是消费者市场.上周,谷歌展示了其Chrome OS操作系统的开发进度,推出了一个支持Chrome OS的应用商店并提供了一个预先发布版硬件测试程序(真正的产品要等到2011年中期才能发布).但令人不解的是,谷歌首席执行官施密特并不想把Chrome OS打造成PC操作系统市场中的第三个候选系统.现在,技术领域的热门趋势是社交.实时移动和云计算.Chr

如何在云环境中建立一个安全的API设计?

在云计算环境中建立一个安全的API设计是一项具有挑战性的工作.在本文中,安全研究专家Dejan Lukan介绍了企业在开发安全API时需要记得的若干事项.498)this.width=498;' onmousewheel = 'javascript:return big(this)' border="0" alt="如何在云环境中建立一个安全的API设计?" src="http://s2.51cto.com/wyfs02/M01/45/CC/wKioL1P

云环境中密文搜索技术的研究

云环境中密文搜索技术的研究 北京邮电大学  高飞 本文提出了一种新的.高效的多关键字可搜索公钥加密方案(NSCF-PECK).这种方案基于双线性对构造,并采用公共信道来传输密文.在整个算法的设计上,仅仅使用了两次双线性对运算,极大的减小了可搜索公钥加密技术的计算开支.同时在客户端和云服务器之间采用公共信道来传送加密的数据,减少了建设安全信道的费用.最后,本论文证明了NSCF-PECK方案的一致性,深入分析了该算法的高效性和安全性.在上述NSCF-PECK可搜索公钥加密方案的基础上,本文提出了一种

云环境中SBS应用的动态资源调度方法研究

云环境中SBS应用的动态资源调度方法研究 东北大学  张涛 本文建立了一个SBS应用性能评价模型,并在该模型的基础上提出了SBS应用动态资源调度方法,该方法通过将静态的初始资源调度和动态的资源调度调整相结合,以动态适应用户访问行为的变化,保证SBS应用性能.为了解决SBS应用的初始资源调度问题,本文给出了满足SBS应用性能约束的初始资源调度问题的数学模型并分别提出了资源无限和有限两种情况下SBS应用的初始资源调度算法,以通过初始资源调度保证服务性能.为了解决SBS应用的动态资源调度问题,本文提出