技术人员值得关注的九家Hadoop技术企业

文章讲的是技术人员值得关注的九家Hadoop技术企业,如果大家手中握有大量数据,那么接下来要做的就是选择一款理想的Hadoop发行版了。

  作为曾经仅仅为谷歌及雅虎等互联网帝国服务的旧日稀罕儿,如今这款大数据管理系统已经积累起极高的知名度与平民人气、并开始逐步走入寻常企业环境。促成这一现状的原因有二:其一、企业需要管理的数据规模愈发庞大,而Hadoop正是完成这项任务的绝佳平台——特别是在传统陈旧数据与新型非结构化数据交相混杂的情况下;其二、已经有众多供应商加入到Hadoop相关支持与服务项目的开发中来,他们的努力也让此类方案变得更为亲民、容易被普通企业所接受。

  根据大部分企业的估算,其掌握的数据总量中只有12%能够被加以分析,八下的88%则仅仅占据着存储空间而无法实现价值。

  —根据Forrester公司2013年第四季度软件调查报告

  “Hadoop已经成为一股不可阻扼的开源力量,其根系广泛而深入地蔓延到各类企业数据管理架构当中,”Forrester公司分析师Mike Gualtieri与Noel Yuhanna在最近发布的Hadoop市场Wave报告中写道。“Forrester认为Hadoop已经成为大型企业必须具备的数据平台,并扮演着任何未来数据管理平台的基石这一重要角色。如果大家拥有大量结构化、非结构化以及/或者二进制数据,那么Hadoop将成为您着手进行数据管理的绝佳起点。”

  那么我们首先需要做些什么?Forrester指出,起步阶段可以选择的方向很多,而目前市场上有九家Hadoop服务供应商值得各位认真考量与比较。他们的方案各自拥有不同的优势与缺点,Forrester通过论证表示当前尚未出来一位地位明确的市场统治者,各大技术巨头与众多相对年轻的厂商都拿出了自己值得称道的服务方案。

  我们首先要介绍一点背景知识:Hadoop属于开源Apache项目,任何用户都可以免费下载其核心组件——其中包括Hadoop Common、Hadoop分布式文件系统(简称HDFS)、Hadoop YARN以及Hadoop MapReduce等。IBM、Amazon Web Services、微软以及Teradata等企业都试图将Hadoop通过打包发行成更易于使用的发行版或者服务项目。每一家企业在战略取向方面都略有不同,但这些方案的核心区别在于,Hadoop拥有将工作负载分布至成千上万台服务器设备中的能力、而这正是将大数据转化为可管理数据的关键所在。

  备注:这份名单以Forrester Wave报告中所列出的供应商为基础,并未涵盖全部Hadoop以及大数据管理平台。先后顺序以首字母排序。

  Amazon Web Services

  

  对于希望寻找一套由Hadoop平台负责托管的公有云方案的客户来说,Forrester口中的“云计算之王”就是你的终极目标——没错,有了Amazon Web Services,这类客户根本没必要再去关注其它产品。Amazon公司的Hadoop产品被称为Elastic Map Reduce(简称EMR)。根据AWS方面的说法,该产品是一款利用Hadoop构建起来的大数据管理服务。不过它并不属于纯开源Hadoop,而是经过调整与修改以专门运行在AWS的云环境当中。

  Forrester指出,EMR是目前市场上普及程度最高的Hadoop平台。它已经拥有广泛而规模庞大的合作伙伴群体,并努力以EMR为基础提供各类服务,其中包括查询、建模、集成以及管理等等。AWS在创新领域也没有松懈;根据Forrester的调查,其在路线图方面希望为EMR赋予根据工作负载需求而自动调整规模的能力。该公司未来计划逐步通过其它产品与服务为EMR提供更多坚实的支持,其中包括RedShift数据仓库以及最近刚刚公布的Kenesis实时处理引擎。除此之外,AWS还有意提供面向其它NoSQL数据库以及商务智能工具的支持机制。说到缺点方面,AWS最大的总量在于不允许用户在内部环境下运行这套Hadoop发行版;不过大家别急,接下来要提到的两家企业最为擅长的就是这类需求。

  Cloudera

  

  Cloudera打造出了一款开源Hadoop发行版,其中借用到了Apache项目的众多成果,不过在此基础之上也作出了大量改进。Cloudera为自家产品开发出数量可观的功能,其中包括名为Cloudera管理器的管理与监控工具外加用于在Hadoop上运行传统数据的SQL引擎Impala。Cloudera利用开源Hadoop作为其发行版的构建基础,但最终成果并不属于纯粹的开源产品。如果Cloudera的客户们需要某些开源Hadoop所不具备的功能特性,他们可以选择自行开发或者寻找一家拥有此类解决方案的合作伙伴。“Cloudera的创新方案一方面紧紧围绕在以Hadoop为核心的技术体系周围,但同时也开展积极创新以快速满足客户需求,从而构建起与其它厂商有所区别的差异化解决方案,”Forrester解释道。结果就是,Cloudera平台的普及范围一直稳步增加、目前已经拥有超过两百家付费用户,其中一部分所管理的节点规模已经超过一千个、数据总量突破1PB,Forrester总结称。

  Hortonworks

  

  与Cloudera类似,Hortonworks也是一家专门开发Hadoop产品的技术企业。与Cloudera不同,Hortonworks对于开源Hadoop代码的开发热情几乎是所有厂商当中最高的。Hortonworks的目标是在建立起Hadoop生态系统与用户基础的同时,对开源代码作出改进。其平台方案也始终坚持最大程度与开源代码保持一致。Hortonworks公司管理层表示这样的路线对于用户非常有利,因为这避免了供应商对用户的锁定效应(如果某位Hortonworks客户希望或者需要转而选择其它平台,那么他们可以轻松将现有应用程序移植到开源代码平台之上)。当然,这并不是说Hortonworks公司放弃了在开源代码基础之上的创新尝试。相反,该公司将全部研发力量都投入到了该平台的开源社区当中。举例来说,Hortonworks曾经开发出一款名为Ambari的工具,旨在填补该项目在集群管理领域的空白。Hortonworks的产品方案帮助其在供应商群体中积累起坚实的合作伙伴基础,其中包括Teradata、微软、红帽以及SAP。

  IBM

  

  当企业用户想到大型IT项目时,我们脑海中首先出现的很可能正是IBM的名号。正因为如此,IBM也不出意料地成为Hadoop项目领域的主要参与者之一。Forrester指出,IBM打造的Hadoop方案目前已经部署到一百多家客户的业务环境当中,其中不少客户所处理的数据规模都达到了PB级别。该公司利用其丰富的网格计算、全球数据中心以及企业级方案实施经验打造出自己的大数据项目。“IBM的路线图当中包括进一步将BigInsights Hadoop解决方案与IBM相关IT资产加以整合,例如SPSS高级分析、高性能计算工作负载管理、商务智能工具以及数据管理与建模工具等等,”Forrester解释道。

作者: 核子可乐 译 

来源:IT168

原文链接:技术人员值得关注的九家Hadoop技术企业

时间: 2024-11-03 21:23:29

技术人员值得关注的九家Hadoop技术企业的相关文章

2012年值得关注的12家Hadoop厂商

Hadoop处于这个十年的大数据革命的暴风眼.这种基于Java的框架实际上由一套用于分布式处理海量数据的软件和子项目组成.核心方法是MapReduce,这项技术用来压缩和简化数十乃至数百TB字节的互联网点击流数据.日志文件数据.网络数据流或者是来自社交网络内容的大批文本. 自从Hadoop在2008年作为Apache开源项目发布以来,它就一直让人备感兴奋,原因在于它结合了成本低.可扩展性佳以及无需构建预定义模式(predefined schema)就能灵活地处理任何数据等优点.许多人觉得,Had

2016年有哪些值得关注的新兴连线技术趋势?

物联网已逐渐深入现代人的生活,分析师估计2015年年底的连线装置数量将达到50亿台,比2014年成长30%.到了2020,这个数量预估将达到400亿台,远远超过地球的人口数. IoT的核心是让万物相连成为可能的连线技术.而在2015年后以及未来,有哪些值得关注的新兴连线技术趋势? 博通无线连线部门副总裁暨总经理Lewis Brewster 使用802.11a/ad Wi-Fi上网和串流内容 首先是透过两种新无线技术提供上网与串流功能--5GHz频段的802.11ac与60GHz频段的802.11

美国值得关注的10家热门电子商务创业公司

移动支付创业公司Braintree移动业务部门的总经理安库·阿亚(Aunkur Arya)近日撰文,指出了美国市场值得关注的10家热门电子商务创业公司.原文来自科技博客网站Venturebeat.com,由腾讯科技翻译.安库·阿亚的文章主要内容如下: 在Braintree时,我们喜欢与各种规模的公司合作--包括从小型汽修应用开发者到营收达数十亿美元的大型电子商务公司等.但更加让人激动的是--看到新型电子商务公司完全改变人们的购物思维方式.不过,当前媒界报道的重点仍是那些大型电子商务公司,例如Ub

2013年值得关注的十家大数据公司

2013年,大数据和数据分析技术将持续升温,相关创业公司也如雨后春笋一般让人们目接不暇. 最近大数据分析专家Robin Bloor 根据技术创新性, 技术路线等评判标准, 列出了10家值得关注http://www.aliyun.com/zixun/aggregation/14294.html">的大数据分析技术公司,IT经理网编译整理如下: Actuate: Actuate与Eclipse基金会合作的的开源商业智能和报告项目Eclipse BRIT, 可以方便地帮助开发者开发基于BRIT上

最值得关注的4家B2B新军

据艾瑞市场咨询有限公司的研究报告表明,在2006年通过B2B网站成功达成交易的企业数量只有170多万,而中国共有中小企业4000多万家,B2B市场还有巨大的发展空间,这也吸引了大量的公司前赴后继杀入这一市场,其中不乏大量的优秀企业,据笔者观察,以下4家B2B网站很值得我们关注: 商集网:www.118114.net/ 进入时间:2007年1月 上榜理由:商集网隶属于中国电信集团,依托中国电信强大的企事业信息资源库和渠道优势,服务国内中小型企业. 与其他B2B站点相区别的是,商集网致力于为企业会员

值得关注的11家容器初创公司

尽管容器技术已经问世超过10年,容器市场自Docker公司成立之后的3年期间迈向了腾飞期,对初创公司来说容器市场已经成熟. 该技术的前提是在准备好的容器上部署代码,代码可以在环境和云中运行的分布式应用程序之间快速迁移.这种方式能够加速测试进程,并且能够构建大型可伸缩的云计算应用程序. 容器的驱动力变得越来越大的趋势愈加明显,对Docker公司来说这是一个好消息,Docker公司提供同名的开源容器平台,也是一个很多容器管理和编排的初创公司竞争的立足点. 容器初创公司有很多,下面我们梳理了几个值得关

2017年值得关注的10家网络初创公司

业界发展的近10年中,创业公司在创业初期面临选择,所有的创业公司都希望能够跟上软件定义网络的潮流.随着对SDN的炒作逐渐减少,一些SDN初创公司如Embrane已经被收购,而其他的一些公司已经从SDN行业中转向其他行业,如Plexxi,现在号称"公有和私有云融合网络基础设施部署的先驱".在2016年底,专注网络虚拟化的初创公司PLUMgrid被VMware收购. 现在,仍然有大量的网络创业公司,虽然他们都号称纳入了SDN的概念,但他们不再专注于SDN.相反,他们专注于云网络.网络自动化

值得关注的18家移动初创公司

北京时间9月28日消息,据国外媒体报道,很多人正在开发移动领域的产品,或是绕过网站直接开发应用程序或是进军移动端硬件市场.他们当中有"Twitter之父"杰克-多西,他创立的Square年处理资金数额已经达到了60亿美元.也有能把iPad转换成"纸张"的应用程序Paper,它可以让用户可以轻松地在iPad上进行素描和绘画.发布两周就有150万用户,而且大部分人愿意支付费用享受这一服务. 下面是编者整理的18家移动领域最值得关注的初创公司. 1.Mixel Mixel

魏家东:营销人最值得关注的九大营销策略

魏家东/文,<数字营销战役>作者,微信公众号:weijiadong2013或搜索"魏家东" 当我们开始诊断企业现状时,制定了目标,营销的策略也随之提出,那么我们常见的策略有哪些呢? 1.情感营销策略:情感营销就是把消费者个人情感差异和需求作为企业品牌营销战略的核心,通过借助情感包装.情感促销.情感广告.情感口碑.情感设计等策略来实现企业的经营目标.在情感消费时代,消费者购买商品所看重的已不是商品数量的多少.质量好坏以及价钱的高低,而是为了一种感情上的满足,一种心理上的认同.