Hadoop成为众多厂商的宣传热词

云计算的最大作用就在于,其在进行大数据处理时,不必再跟以前一样,必须购买大量的服务器集群,或者租用服务器用来处理大数据,这样做可以减少成本。Hadoop作为一个重量级的分布式处理开源框架,已经在大数据处理领域被人多所知晓,很多企业希望利用Hadoop来规划其自身未来对于数据处理的梦想。从Oracle、EMC到Microsoft,几乎全部的高科技厂商都在过去的几个月中宣布了自己将以Hadoop为基础的全新战略。如今,Hadoop已经成为IT商场吸引客户的最重要的因素之一。

Hadoop的成长得到了个人开发者、初创公司和大企业的支持。这也给予用户长时间使用Hadoop提供了潜在的信心。但是由于不同厂商对代码的持续改善也带来产品相互无法操作的问题。Hadoop目前的状况和Android极其类似。

大多数企业并未真正了解大数据

“大数据”的优势并不只是规模,还在于性能,无论数据集合的维数有多少。这对于直接分析非常重要,例如评估某位客户在网站上的行为来更好地了解他们需要什么支持或寻找什么产品,或者搞清当前天气和其他条件对于送货路线和时间安排的影响。这正是服务器集群、高性能文件系统和并行处理的用武之地。过去,这些技术过于昂贵,只能为大企业所采用。今天,虚拟化和商用硬件大大降低了使用这些技术的成本,从而使“大数据”可为中小企业所用。

那些较小的企业还有另一条利用“大数据”分析的途径——云。“大数据”云服务开始出现,提供迅速、高效执行分析的平台和工具。

Capgemini的CTO Joe Coyle就表示大数据将成为未来趋势,但许多企业还不明白这其中的含义。客户询问最多的就是云计算和大数据这两个概念现今在Hadoop技术大热的同时业界也发出了不同的声音。一些厂商指出企业有些过于热炒Hadoop的相关概念了。搭建和维护Hadoop集群的复杂性需要相关从业人员专业知识的支持,而雇佣相关人员的代价是昂贵的。JP摩根大通总经理Larry Feinsmith日前曾表示,他们不仅愿意聘用合格的专业人士,还会提供比业界高出10%的优厚待遇。

并不是所有行业都应部署Hadoop

制造业务本身以及产品生命周期管理通常会给制造业的ERP和库存系统制造大量的关系和非关系数据。企业都希望拥有一个完美的大数据收集和分析解决方案,但是并不是所有企业都一定要即刻转换到Hadoop。

通用电气智能平台部门已经构建了检测软件以收集从复杂制造业中产生的各种数据。这一举措也推动了其自身Proficy Historian 4.5软件更快的发展。Proficy Historian承诺其提供的方法可比使用Hadoop更可靠。通用公司企业数据管理部的Brian Courtney表示公司现成的解决方案可提供一个媲美Hadoop的环境,同时比Hadoop更具优势的是他们的成本更低,同时要比Hadoop更好驾驭。

通用电气拥有大量的历史数据,这些历史数据大多来自生产和测试阶段。Proficy Historian用来处理像波形一样源源不断的由产品制造和测试产生的关系和非关系数据,并可善加利用以便预测可能会发生的问题。

举例来说,当涡轮发动机启动时,Proficy Historian可检测并查看相应的电子签名。在正常启动并进行负载测试时如果有异常会发生怎样的状况?之前有类似的状况吗?当发现有和以往类似的系统故障时还可以查看解决此故障在以往所花费的时间,以便制造商选择他们排除错误的优先级。Proficy Historian还可以通过和以往的历史数据进行对比,以探究过往是否有类似的问题,并提前生成未来可能发生那些其他异常的报告。Brian Courtney说到。

Proficy软件的新版本旨在处理更多大数据。Proficy的早期版本支持200万个标签,现今Proficy已支持多达1500万个标签。

亚马逊部署HPCC在其云计算平台

亚马逊已经将其云计算平台上的运行软件调整为HPCC。HPCC是LexisNexis公司推出的一款开源的数据处理方案。这一举措也让HPCC系统替代现今流行的Hadoop想法又更进一步。

HPCC系统的CTO Armando Escalante在9月曾表示尽管HPCC现今还不能像Hadoop那样吸引大型企业和政府,但这也促使HPCC的开发者生态环境的发展,就好象当年Hadoop一样。

现今也有一些分析人士看好HPCC系统,不过HPCC社区要想成为像Hadoop社区那样充满活力还需要很长的一段路要走。现今Amazon已经为HPCC在AWS或云中运行带来了一个良好的范例,HPCC支持AWS的Elastic MapReduce。Amazon表示未来将带来更多的惊喜。

从技术角度看,现今Amazon Web Services只运行了HPCC的处理大数据的部分方式——Thor Data Refinery Cluster。该平台还包括另一种处理数据的方式Roxy Rapid Data Delivery Cluster。Roxy作为数据仓库和数据查询层起到的作用类似于Apache的Hive和HBase。

Hadoop项目中的HBase和Hive都拥有自己的语言。而HPCC系统平台则全部采用被称之为ECL(Enterprise Control Language)的语言。

时间: 2024-11-06 07:39:12

Hadoop成为众多厂商的宣传热词的相关文章

为何众多厂商推智能音箱争夺智能家居入口?

众多科技企业,甚至传统家电企业争相布局或者朝智能家居方向转型,围绕入口争夺之战尤为激烈,苹果加大了HomeKit推广力度,三星SmartThings智能家居平台,然而在今年,围绕入口争夺则聚焦在家庭中的一款"音箱"设备,以此抢夺控制家庭入口级的核心产品,这是继亚马逊Echo音箱取得成功后所引起的连锁效应. 争相推出智能音箱 能否撬开智能家居入口? 在去年6月,笔者在<智能家居入口在哪?巨头们凭借音响抢夺入口>文章中谈及到语音交互在智能家居场景应用,科技巨头们以平台方式切入至

分析机构称:众多厂商开始押注云时代

从上世纪http://www.aliyun.com/zixun/aggregation/16333.html">90年代IT产业起步发展以来,世界经历了以IBM.微软等为代表的PC时代和以谷歌.Facebook等为首的互联网时代.易观国际等分析机构认为,如今随着技术的发展,摩尔定律的不断上演,众多厂商都开始押注于云时代. 据易观国际分析师刘冠吾介绍,目前关于云的应用已经开始落地,例如亚马逊等厂商,除了拥有网上销售业务外,本身也是云服务的提供商,而且云服务前景比较看好. 爱国者集团董事长冯军

分析机构称:众多厂商押注云时代

据新华社北京9月13日电 从上世纪90年代IT产业起步发展以来,世界经历了以IBM.微软等为代表的PC时代和以谷歌.Facebook等为首的互联网时代.易观国际等分析机构认为,如今随着技术的发展,摩尔定律的不断上演,众多厂商都开始押注于云时代. 据易观国际分析师刘冠吾介绍,目前关于云的应用已经开始落地,例如亚马逊等厂商,除了拥有网上销售业务外,本身也是云服务的提供商,而且云服务前景比较看好. 爱国者集团董事长冯军日前接受采访时也表示,云服务将成为下一个时代的决定因素,以云服务为代表的企业将会诞生

华为等众多厂商开始推出自己的智能电视盒子

表面上看起来,乐视.爱奇艺.完美世界,甚至华为等众多厂商开始推出自己的智能电视盒子,但这只是硬币的正面.硬币背面还有另外一番情景:目前而言,在国内的智能电视盒市场中,品牌盒子的市场占有率不足20%,占据更大市场空间的是山寨盒子. 长庚小报成员通过从深圳的实地探查,来为你揭秘被品牌盒子光环下遮掩的那个你所不知道的盒子世界. 品牌盒子无法做大 一位从业人士告诉我们,尽管品牌盒子来势汹汹,但她丝毫不担心会对山寨盒子形成冲击.她并非故弄玄虚,而是以下几个条件给了她自信的理由: 1.无论爱奇艺也好,还是乐

个人云将成数字时代核心 众多厂商相继扎堆

以PC为个人娱乐数字核心的时代已成为过去式 云安全.云电视.云手机--移动互联网的快速发展已让云计算应用到各种领域.而随着"个人云"概念的提出,专家指出,曾经以PC为数字核心的时代已成过去式. 厂商相继青睐 "个人云" 日前,富士康加入对未来云计算市场的争夺,展出了一系列运用云计算的产品和服务,包括智能云端解决方案.云和无限互联网产品及服务.移动云端设备.高速连接器等. 无独有偶,腾讯.金山也将"个人云"技术应用到智能电视中.他们均认为,其商业前

众多厂商齐抢类似开心域名50万起价

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 互联网业内及法律界资深专家今日就开心网起诉千橡侵权一事做出讨论,他们认为域名仅是公司成功的部分因素,另一方面域名需要和网站进行匹配,就能够为未来减少隐患. 小编据报:近日在重庆再次上演一具类似开心网域名事件,众多网络厂商由于买不起kanxin.com,后来注册了kaixin001.com,可是现在很多厂商又打起了"开心界"

众多厂商参与平板电脑开发挑战苹果

1月4日消息,据国外媒体报道,就在人们正焦急地等待着苹果公司向平板电脑市场进军的时候,苹果的竞争对手们已经进入了这个市场,并坚信轻薄,没有键盘的平板电脑将会成为下一款市场上流行的电子产品. 尽管有报告称苹果将会于1月底推出一款10英寸的平板电脑,苹果公司对该计划仍三缄其口.虽然大多数观察家认为苹果此次打算推出的平板电脑将会是建立在苹果触屏设备的基础之上的,但人们对苹果到底会推出该设备的细节尚不清楚. 苹果推出的平板设备很可能会在一系列试图改变人们上网方式的设备中找到应有的位置. 事实上,tabl

大数据来袭 传统IT厂商紧握Hadoop机遇

本文讲的是大数据来袭 传统IT厂商紧握Hadoop机遇,大数据时代已经来临,并悄悄的影响着我们的生活.根据IDC最近一项研究显示,在Facebook上每20分钟就有100万个新链接被分享,1000万条用户评论被发布.Facebook和其他所有互联网网站.互联网应用,已经逐渐变成了整个数据采集.分析.处理.增值的数据架构. 在中国,社交网络同样如火如荼.新浪副总裁王高飞就曾表示,新浪微博的注册用户已超过3亿,用户平均每天发布超过1亿条微博内容,相当于每10个中国人里面,就会有一人每天发布一条微博.

众多PC厂商布局一体机:价格仍是关键

上周三,华硕电脑在京展示EeeTop PC一体机全线产品.华硕电脑中国业务总部Eee家族产品经理杨鉴文表示,"今年是华硕一体机进军大陆市场销售的元年." 此前,多家厂商已宣布,将在今年6月举行的台北Computex展上展示其最新的一体机产品. 众多厂商布局一体机 据了解,一体机已存在市场多年.除华硕外,联想.戴尔.微星等厂商均早已开始涉足一体机市场,数据调研机构DisplaySearch的数据显示,2009年一体机(All-in-one PC)出货量预计超过550万台,年成长率达57%