解读:分布式计算平台Hadoop 发展现状

雅虎开发者Doug Cutting六年前创建了一个用于管理,存储和分析
大量数据的分布式计算平台hadoop,现在大家也称云计算平台,用他儿子的玩具大象命名,并把它交给阿帕奇软件基金会。鉴于围绕Hadoop建立的整个行业的迅速,这会使某些人
觉得非常惊讶,那就是阿帕奇软件基金会最近才推出了Apache Hadoop 1.0——被
认为是足够
稳定而成为“企业就绪”的第一个版本。

Hadoop乱象

雅虎开发者Doug Cutting六年前创建了一个用于管理,存储和分析大量数据的平台,用他儿子的玩具大象命名,并把它交给阿帕奇软件基金会。鉴于围绕Hadoop建立的 整个行业的迅速发展,这会使某些人觉得非常惊讶,那就是阿帕奇软件基金会最近才推出了Apache Hadoop 1.0——被认为是足够稳定而成为“企业就绪”的第一个版本。

但这并没有延缓创业和建立供应商加入Hadoop的队伍。随着大数据这一热点,解决方案提供商需要跟上行业中的关键角色。以下就是围绕Hadoop的11个创新业务。

1. Cloudera

Cloudera,成立于2008年,也许是最成立的年轻的致力于 Hadoop的公司。 帕洛阿尔托,加州公司提供了一个Apache Hadoop软件的商业发行版叫做Cloudera Enterprise,它包括支持,咨询服务,培训和一个称为Cloudera Management Suite的软件。

一个例子说明了Cloudera的技术如何寻求广泛使用,Oracle在一月表示它已经将Cloudera的Hadoop发行版和Cloudera Manager整合到Oracle Big Data Appliance中。

Cloudera在2009年聘请Doug Cutting担任“架构师”时有了炫耀的资本。Cutting是原阿帕奇软件基金会Hadoop项目的创始人并且是现任董事。

2. Datameer

业务产生和存储的数据量每三年翻一番。加之数据是结构化和非结构化信息的混合体这一事实,往往分散在不同的IT系统,对于有商业智能项目的任何公司都是一个严重的挑战。

Datameer分析解决方案始于Datameer(2009年于加州圣马刁成立),用一个电子表格界面与Apache Hadoop结合,帮助企业用户对非常大的数据集进行分析——多种来源的结构化和非结构化数据——无需编程。

虽然分析大型数据一直是一个大的公司难题,但Datameer作出令人信服的观点:中小企业现在面临着类似的挑战,成本低的商品存储使收集大量的数据在经济上可行的。

3. Hadapt

Hadapt称其Hadapt自适应分析平台结合了Hadoop和关系数据库管理软件的优点成为一个单独的数据平台。其成果就是一个高性能分析系统,对结构化和非结构化数据都能很好处理。

公司成立于2010年七月,在十月的第一轮融资公司募集950万美元并在十一月推出了Hadapt 1.0,为潜在客户试用。依照公司称,该软件对Hadoop和其蜂巢数据仓储技术做了“巨大的性能改进”。软件有云和企业版,不久还有一个免费的社区版。 它们可运行在所有主流的Hadoop发行版上,包括Amazon EMR, Apache, Cloudera, EMC, Hortonworks, IBM和MapR。

4. Hortonworks

2011年七月推出的Hortonworks是雅虎Hadoop工程团队的一个分拆,提供其自有的 Hadoop版本称为Hortonworks数据平台。相对年轻的公司,阿帕奇项目的贡献者,这都被广泛视为Cloudera的主要竞争对手。一月公司推 出Hortonworks数据平台第二版,通过下一代MapReduce架构提供更好的性能和可用性,用Hadoop分布式文件系统(HDFS)提高可扩 展性,并且由HDFS名字节点的高可用性提高了数据完整性。

对了,加利福尼亚州,桑尼维尔,公司的名字来自于苏斯博士的书《霍顿与无名氏》,为了符合Hadoop大象主题。

5. HStreaming

虽然Hadoop事实上也许是处理大量数据的引擎,但它主要用于批处理。实时分析数据把Hadoop的价值提升到一个全新的水平。这就是HStreaming的由来。

成立于2010年,位于芝加哥的HStreaming是一个建立在Hadoop上的可扩展的,可持续的数据分析系统。它可以分析,可视化并处理大量连续数据——比如一个金融交易系统——实时。

6. Hyve Solutions

虽然大多数Hadoop相关的公司都是独立创业,但Hyve Solutions是联强IT经销商的一个部门。成立于去年,Hyve Solutions提供了成套的配置,称为Big D Series 8,公司表示它能让开发基于Hadoop的大数据分析系统在数天完成而不是数月。

Hyve Solutions平台包含了Zettaset的基于Hadoop的容错系统,Arista Networks的云网络设备,Solarflare Communications的网络接口硬件和软件,还有Fusion-io的闪存数据存储技术。

7. Karmasphere

位于加州库比提诺的Karmasphere称自己为“大数据智能”引领者,其软件工具可从Hadoop提取和分析数据。

Karmasphere Analyst为信息分析员提供对Hadoop中结构化和非结构化数据的访问,使他们能够进行点对点查询,对结果可视化并可操作。Karmasphere Studio提供了用于开发运行于Hadoop自定义算法的工具。Karmasphere Analytics Engine(分析引擎)是公司软件的基础。

Karmasphere,2010年三月推出,已经于几乎Hadoop的所有供应商和组织合作 过,包括阿帕奇软件基金会,IBM,Cloudera,亚马逊云计算服务(AWS)和Hortonworks。公司在二月推出Karmasphere Analyst 1.8,带有新的并行查询功能。

8. MapR Technologies

MapR Technologies提供了一个Apache Hadoop的发行版,将之与Cloudera和HortonWorks还有其他公司竞争。公司成立于2009年年六月,有一些关键优势,包括与EMC有 战略联盟,并且在八月的第二轮融资募集2000万美元资金。

MapR位于加州圣若泽,十二月的MapR Hadoop发行版1.2有新的虚拟机功能,高性能的本地访问库,Mac和Windows客户端,和利用MapReduce 2.0技术的能力。

9. Mortar Data

Mortar Data宣称自己是“Hadoop,没有复杂性”。总部设在纽约,该公司为那些“没有充分利用数据”的客户提供基于云的Hadoop服务,并表示它可以请客户来且运行不到一小时。

Mortar Data,成立于2010年,为客户的大数据项目建立私有的,按需求的Hadoop集群,并使用Pig和Python建立“为执行优化过的工作”。亚马逊 的S3云存储用于数据读写。客户只在运行他们任务时支付,没有与之相关的基础设施和雇佣和培训工程师的费用。

10. Tidemark Systems

Tidemark Systems,位于加州红木城,开发其称为第一个企业级性能管理平台和为云计算建立的应用。因为Tidemark EPM应用系统是建立在Cloudera的Hadoop发行版基础上,大数据随之而来,它可以从海量复杂数据中进行提取。

公司成立于2010年,Tidemark主要面向制造业,消费电子产品,零售业和高科技公司上的应用。一月公司从风险投资家和仁科创始人戴夫杜菲尔德获得240万美元的第三轮融资。

11. Zettaset

最早与2009年以GOTO Metrics的名字推出,Zettaset已经开发出建立在Hadoop和其他用于聚集和大量数据分析的开源技术上的一个容错系统。依照公司所称,该技术有助于掌控整个企业Hadoop系统的健康度,安全性和管理。

Zettaset位于加州山景城,在十二月推出其第四版,带有新的服务管理特性和一个独特的可视化用户界面。公司在七月(获得三百万美元融资后)根据zettabyte更名——等于一百万petabyte或一亿terabyte的数据。

(责任编辑:吕光)

时间: 2024-08-02 22:32:33

解读:分布式计算平台Hadoop 发展现状的相关文章

探究和调查家居网购平台的发展

家居行业记者 程思玮 网购从开始发展到如今已有十几年的历史,从最早的B2C模式到中期的C2C模式,从服饰日用品.小家电.手机.图书等都有相应的网购平台出现.网购平台一方面为人们创建了突破时空概念的购物渠道,另一方面由于这种"时空"的无限可能性,也催生出各种各样的问题,其中信誉度及售后服务一直成为网购平台无法解决的问题.这也限制和阻碍了行业的发展.近年来,受到"网购风潮"的影响,家居行业也纷纷触网,各种家居网购平台应运而生.与其他的网购平台一样,家居网购平台走过了一个

【深度】分级诊疗模式下 中国医疗信息化产业的发展现状解读

[深度]分级诊疗模式下 中国医疗信息化产业的发展现状解读 .大数据时代数据是最重要的生产资料.在医疗健康领域,中国和西方发达国家一样步入医疗健康大数据时代.中国是除印度之外人口数量居世界第二位的国家,庞大的人口基数让中国在医疗大数据领域所积累的医疗数据量和优势是其他国家无法比拟的.数据的价值不仅是通过对数据的分析挖掘所获得的信息,也会在商业.科技决策,优化资源配置,连接节省资本等具有无可比拟的价值和潜力.本篇报告对目前中国市场上医疗信息化公司进行了基本梳理和重点解读,旨在探究在分级诊疗模式推动下

国际国内云计算发展现状及未来前景

一."云计算"概述 本文讲的是国际国内云计算发展现状及未来前景,[IT168 资讯]云计算(Cloud Computing)是分布式处理(Distributed Computing).并行处理(Parallel Computing)和网格计算(Grid Computing)的发展. (一)云计算的基本原理.通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似.这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统.这就好比

刘刚:从互联网到传统行业 Hadoop发展迅猛!

刘刚表示,目前Hadoop的应用正在从互联网行业到http://www.aliyun.com/zixun/aggregation/8150.html">传统行业快速的扩张,但是在传统行业中Hadoop还是要面临很多困难:Hadoop的安全性不能满足他们的需求:Hadoop的人才缺少:怎么把传统的业务迁移到Hadoop平台上来处理. -什么原因吸引你钻研Hadoop技术? 记得四年前跟着PKU的曹老师做项目的时候,曹老师让我去调研大数据技术,那个时候hadoop资料很少,只能去看官方的文档.

全球各国大数据市场的发展现状

1 大数据发展概述 当今是一个数据爆发增长的时代.移动互联网.移动终端和数据传感器的出现,使数据以超出人们想象的速度快速增长.据调查机构估测,数据数量一直在快速增加,这个速度不仅是指数据流的增长,而且还包括全新的数据种类的增多.目前数据容量增长的速度,已经大大超过了硬件技术的发展速度,并正在引发数据存储和处理的危机.据统计,2013年全球产生的数据达到3.5泽字节,到2020年产生的数量将增至44泽字节. "大数据"一词来自于未来学家托夫勒于1980年所著的<第三次浪潮>.

谈2012年网址大全站点的发展现状及未来发展方向

说到网址大全站点,我想很多站长都会联想到当年那个网址大全的鼻祖hao123,凭借对于网址资源的"简单的"整合,Hao123开创了一种新型的网站类型,这也让网址大全站点着实火了一把,于是在今年来我们可以看到模仿Hao123的网址大全多如鸿毛,瞬间充斥我们的电脑桌面.但是经历了几年互联网的大浪淘沙,个人网址大全站点又生存的怎么样呢? 我想做过网址大全的站长,大多数都会劝说这一类型的站点发展不起来,因为相较于于2011年的发展环境,2012年网址大全的运营越发困难,网址大全站点不仅要面临互联

浅析移动平台病毒发展及防护趋势

移动平台病毒(也称为手机病毒)正逐渐取代电脑病毒成为新的互联网应用问题.据各类报告显示,Android平台的手机病毒.恶意软件数量疯涨,手机病毒传播和威胁趋势有哪些?以及反手机病毒技术的发展趋势是什么样的呢?本文探讨了这些问题,与大家分享. 发展现状 移动平台病毒(也称为手机病毒)正逐渐取代电脑病毒成为新的互联网应用问题.5月13日,腾讯移动安全实验室发布了<2013年1季度手机安全报告>.该报告显示,在2013年第一季度,在Android平台截获的手机病毒数再度疯涨,基于腾讯手机管家产品服务

或遭遇寒冬?杨强谈人工智能发展现状及前景

前不久,落下帷幕的IJCAI SocInf'16 Contest上,天池(tianchi.shuju.aliyun.com)携手人工智能国际顶级会议IJCAI SocInf Workshop,作为比赛的冠军团队T9,来自清华大学的李中杰与姚易成不仅获得了主办方提供的奖金,更取得了组织者提供的美国游基金.通过这个宝贵的机会,在整个美国行行程中,"T9"不仅接触到了AlphaGo技术小组,还与人工智能领域专家.香港科技大学教授杨强进行了深入的交流,而有意思的是,通过本次交流发现,他们初始的

《中国人工智能学会通讯》——1.15 聊天机器人的定义及发展现状

1.15 聊天机器人的定义及发展现状 聊天机器人,是一种通过自然语言模拟人类进行对话的程序.通常运行在特定的软件平台上,如 PC 平台或者移动终端设备平台,而类人的硬件机械体则不是必需的承载设备. 聊天机器人的研究源于图灵(Alan M. Turing)在1950 年<Mind>上发表的文章<Computing Machineryand Intelligence>,文章开篇提出了"机器能思考吗?"("Can machines think?")