英特尔重定义Hadoop核心:优化CPU

据国外媒体报道,近日,英特尔新推出的Intel版Hadoop不但改写了Hadoop框架的核心功能,强化对处理器指令集的支持来提高效能,可直接支持Xeon进阶运算加密指令集AES-NI,并在数据储存到HBase的过程,用芯片原生的加密功能保护,这是英特尔进军Big Data的杀手锏软件 。

继Cloudera与Hortonworks之后,英特尔近日宣布推出Hadoop新版本,包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner,这是英特尔从2009年开始投入大数据研究以来,首度发布的大数据软件产品,英特尔将以开源分布式数据分析平台Hadoop进军大数据市场。

英特尔Hadoop发行版是以英特尔的硬件为基础,提供Hadoop使用者更安全、更高效、更易部署的数据处理平台,未来英特尔将继续投入Hadoop的研发。

不过,英特尔并不会因此变成一家软件公司。英特尔的策略是打造一个开放的大数据生态环境。目前英特尔版Hadoop的合作伙伴包括OEM厂商、系统整合商、独立软件开发商,负责企业部署,英特尔提供培训。目前已与20多家软硬件厂商计划加入联盟,包括SAP、思科、SAS、1degreenorth、Revolution Analytics等。

英特尔推出的Hadoop专属软件平台,主要包括三个部分,第一是Hadoop平台的管理工具Intel Manager与Intel Active Tuner,二是基于Hadoop架构所做的调优,包括HDFS、MapReduce、HBase的重定义改写,同时支持SQL查询指令语言Hive,对于SQL指令的查询速度提升了8.5倍。其三,英特尔的Hadoop架构中,也融入了其他常用的Hadoop工具,例如:Zookeeper等。

重定义Hadoop架构

英特尔重新改写了Hadoop架构,可以直接支持Xeon计算加密指令集AES-NI,提高数据指令周期,并通过芯片原生的加密功能保护数据收集、存储到HBase的过程,并且性能不受加密的影响。

举例来说,采用Xeon E5-2690处理器、搭配英特尔SSD 520快闪硬盘和10GbE网络卡,1TB的数据量处理将可缩短到7分钟。

今年2月底,英特尔正式启动两个Hadoop方面的新项目,其中一个项目是Panthera,着重SQL与Hadoop的整合,另一个项目则是Rhino,研究更深层次的Hadoop应用。 未来,英特尔将会加大对大数据的研究投入,包括商业智能及图形计算分析。

英特尔数据中心与嵌入式系统亚太区产品经理RK Hiremane表示,Hadoop暂时还不是一个成熟市场,但英特尔看好电信业、金融业、政府以及医疗行业的发展潜力。

来自新加坡的英特尔Hadoop合作伙伴1degreenorth指出,当企业开始考虑部署Hadoop时,一定会进行全面的评估,过去只能选择Cloudera与Hortonworks,但是现在多了一个Intel版本,从软件开发商的角度来看,在亚太地区,不论Cloudera或Hortonworks并没有特别投入资源,英特尔则通过系统整合商与独立软件开发商来提供企业相关服务,同时并提供相关的技术支持,这是一个非常重要的竞争力。

目前Hadoop在国内的应用仍处于萌芽阶段,每个客户都是以项目方式进行,英特尔在未来的Hadoop市场能否脱颖而出,关键在于Hadoop系统的软件开发与技术服务能力。因为目前大多数企业并没有足够驾驭Hadoop技术的人才,所以非常注重供应商所提供的Hadoop应用开发与技术服务。现阶段,英特尔虽然通过软件开发商进行战略布局,而这些厂商是否具有相关技术能力,并且全力投入大数据市场,还需要时间证明。

时间: 2024-10-28 11:18:56

英特尔重定义Hadoop核心:优化CPU的相关文章

英特尔已为Hadoop开启CPU加密机制

芯片巨头英特尔正在加倍努力以扞卫其宝贵的数据中心领地--具体方式为开发其自有技术以推动数据管理与分析技术--例如Hadoop--的实现. 为了确保至强芯片能够在数据中心管理员们的考量之下成为运行大型Hadoop集群的首选平台,英特尔在本周二宣布将为Intel Distribution for Apache Hadoop(其自有.以开源为主的软件衍生方案)添加多项新的功能与技术. 这一轮更新当中包含Intel Graph Builder for Apache Hadoop的第二个版本.Intel

提高企业数据安全 英特尔继续耕作Hadoop

据了解,英特尔正在继续为Hadoop开源软件大数据处理框架构建其软件工具组合,重点是大企业需要的安全和可靠性功能. 英特尔的数据平台工具套件将在下个季度提供,包括免费的自助支持的企业版以及订阅收费的版本.收费版提供主动安全补丁.定期增强和实时技术支持等功能. 英特尔与商业Hadoop市场中的Hortonworks和Cloudera等公司竞争.英特尔数据中心软件部门负责渠道.营销和商务运营的总经理Jason Fedder表示,这些厂商的崛起表明Hadoop确实处在一个十字路口.Linux只有在企业

英特尔放弃发行 Hadoop 版本,转而支持 Cloudera

据Marketwatch报道,英特尔昨天作出了一个震惊整个大数据市场的决定--停止发行英特尔自己的Hadoop版本,转而支持Hadoop发行商Cloudera. 消息人士透露英特尔资本还将向Cloudera追加超过9000万美元投资并成为Cloudera最大的股东. Cloudera上周刚刚完成1.6亿美元融资,而本周二Hortonworks也紧随其后完成了第四轮1亿美元融资. 大数据基础设施是资金密集型市场 ,因此Hadoop大数据厂商的融资规模通常都比较大.创立于2008年的Cloudera

USB或将被取代:英特尔将Thunderbolt接口集成进CPU

北京时间5月25日消息,从2011年开始,英特尔就在推广高速接口Thunderbolt.但除非你购买Mac或者其它高端PC,否则就不要多想了,因为很难拥有它. 本周三,英特尔宣布直接将Thunderbolt集成进处理器,情况也许会有所改变.也就是说PC制造商不需要付出任何成本就可以获得Thunderbolt技术,改变了目前必须从英特尔手中购买独立Thunderbolt芯片的情况.难怪苹果微软欢迎英特尔的新政策. 为什么要为Thunderbolt而不是USB接口操心呢?因为Thunderbolt的

Zettaset起诉英特尔剽窃其Hadoop大数据软件

Zettaset控诉英特尔的Hadoop发行版是其旗舰产品的翻版 Zettaset近日控告英特尔抄袭其大数据软件,Zettaset在起诉书中指出,英特尔的Hadoop管理软件与Zettaset的旗舰产品Orchestrator极为相似,英特尔不仅严重侵犯Zettaset的知识产权,而是"鸠占鹊巢",赤裸裸地争抢其客户. Zettaset在上周四加州圣克拉拉县法庭提交的起诉书中指出: 实际上英特尔的所谓大数据软件就是Zettaset的产品. 据悉,Zettaset对英特尔的指控包括违反合

英特尔将推8核心服务器芯片Nehalem获IBM支持

CNET科技资讯网5月31日国际报道 英特尔日前表示,今年稍后将推出一款有8个处理核心的服务器芯片.而IBM也展示一款使用八个英特尔8核心芯片(共64核心)的高端服务器. 英特尔的Nehalem-EX处理器订于今年稍后开始生产,并于2010年初搭配高端服务器系统上市.英特尔服务器平台营销集团总经理Boyd Davis日前在一场电讯会议中表示,这项产品是在支持16线程的单一芯片内设置8个处理核心.利用线程,英特尔基本上可加倍每个处理核心的工作量. 参与这场会议的IBM,由BladeCenter副总

英特尔重归移动,靠什么?

回顾英特尔发展历程,转型二字一直贯穿其核心战略.英特尔于上世纪80年代末成功从内存厂商一举转型到微处理器厂商,占据了全球超过90%的PC市场份额.此后,伴随着PC市场增长趋缓放缓,移动市场突飞猛进,英特尔曾多次尝试转型移动.数据中心.物联网等,但仿佛不得其路.如今,英特尔在无人驾驶.虚拟现实等市场热点中找到了新的移动突破点--5G.在已经结束的2017 MWC(世界移动通信大会)上,英特尔推出了第一个千兆级LTE调制解调器英特尔XMM7560.第三代英特尔5G移动试验平台等,其在通信领域的表现被

英特尔:中国成Hadoop发展主力

近日,任职于英特尔数据中心软件部的大数据产品高级顾问黎超先生表示,业内认为Hadoop对整个X86的发展会是一次重大的机会,鉴于英特尔是Apache主要贡献者之一,同时又希望能利用在软硬件方面的投入,能够使得Hadoop更容易走向传统行业,而并非仅仅局限于互联网行业. 另外,在英特尔看来,中国市场也是Hadoop发展的重点所在.因为长久以来,中国市场向来就是英特尔的第一大市场,因此英特尔将其Hadoop核心研发团队就完全设在中国上海,目的就是更好的去服务于我们本地的客户. 显而易见的就是,大家现

英特尔进军云计算 推出Hadoop CPU优化版

继Cloudera与Hortonworks之后,英特尔在2月底全球同步宣布推出Intel专属的Hadoop分布式计算软件,包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner,这是英特尔从2009年开始投入巨资研究云计算以来,首度发布的相关软件产品,英特尔将以开源分布式资料分析平台Hadoop进军云数据市场. 英特尔DCSG亚太区总经理Jason Fedder表示,Hadoop发行版是以英特尔的硬件