据国外媒体报道,近日,英特尔新推出的Intel版Hadoop不但改写了Hadoop框架的核心功能,强化对处理器指令集的支持来提高效能,可直接支持Xeon进阶运算加密指令集AES-NI,并在数据储存到HBase的过程,用芯片原生的加密功能保护,这是英特尔进军Big Data的杀手锏软件 。
继Cloudera与Hortonworks之后,英特尔近日宣布推出Hadoop新版本,包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner,这是英特尔从2009年开始投入大数据研究以来,首度发布的大数据软件产品,英特尔将以开源分布式数据分析平台Hadoop进军大数据市场。
英特尔Hadoop发行版是以英特尔的硬件为基础,提供Hadoop使用者更安全、更高效、更易部署的数据处理平台,未来英特尔将继续投入Hadoop的研发。
不过,英特尔并不会因此变成一家软件公司。英特尔的策略是打造一个开放的大数据生态环境。目前英特尔版Hadoop的合作伙伴包括OEM厂商、系统整合商、独立软件开发商,负责企业部署,英特尔提供培训。目前已与20多家软硬件厂商计划加入联盟,包括SAP、思科、SAS、1degreenorth、Revolution Analytics等。
英特尔推出的Hadoop专属软件平台,主要包括三个部分,第一是Hadoop平台的管理工具Intel Manager与Intel Active Tuner,二是基于Hadoop架构所做的调优,包括HDFS、MapReduce、HBase的重定义改写,同时支持SQL查询指令语言Hive,对于SQL指令的查询速度提升了8.5倍。其三,英特尔的Hadoop架构中,也融入了其他常用的Hadoop工具,例如:Zookeeper等。
重定义Hadoop架构
英特尔重新改写了Hadoop架构,可以直接支持Xeon计算加密指令集AES-NI,提高数据指令周期,并通过芯片原生的加密功能保护数据收集、存储到HBase的过程,并且性能不受加密的影响。
举例来说,采用Xeon E5-2690处理器、搭配英特尔SSD 520快闪硬盘和10GbE网络卡,1TB的数据量处理将可缩短到7分钟。
今年2月底,英特尔正式启动两个Hadoop方面的新项目,其中一个项目是Panthera,着重SQL与Hadoop的整合,另一个项目则是Rhino,研究更深层次的Hadoop应用。 未来,英特尔将会加大对大数据的研究投入,包括商业智能及图形计算分析。
英特尔数据中心与嵌入式系统亚太区产品经理RK Hiremane表示,Hadoop暂时还不是一个成熟市场,但英特尔看好电信业、金融业、政府以及医疗行业的发展潜力。
来自新加坡的英特尔Hadoop合作伙伴1degreenorth指出,当企业开始考虑部署Hadoop时,一定会进行全面的评估,过去只能选择Cloudera与Hortonworks,但是现在多了一个Intel版本,从软件开发商的角度来看,在亚太地区,不论Cloudera或Hortonworks并没有特别投入资源,英特尔则通过系统整合商与独立软件开发商来提供企业相关服务,同时并提供相关的技术支持,这是一个非常重要的竞争力。
目前Hadoop在国内的应用仍处于萌芽阶段,每个客户都是以项目方式进行,英特尔在未来的Hadoop市场能否脱颖而出,关键在于Hadoop系统的软件开发与技术服务能力。因为目前大多数企业并没有足够驾驭Hadoop技术的人才,所以非常注重供应商所提供的Hadoop应用开发与技术服务。现阶段,英特尔虽然通过软件开发商进行战略布局,而这些厂商是否具有相关技术能力,并且全力投入大数据市场,还需要时间证明。