SGI利用Ivy Bridge打造Hadoop集群与NoSQL设备

  早在1980年,Silicon Graphics就已经成为高性能图形工作站领域的知名品牌,经过2009年的一系列结构重组与来自Rackable Systems公司的资产收购,Silicon Graphics International(简称SGI)公司将业务重心转移到了高性能计算服务器、集群及设备领域。随着英特尔发布Ivy Bridge至强处理器,SGI也已经做好了以这一全新CPU家族为基础打造服务器产品的准备。

  SGI公司在过去很长一段时间内一直在为Hadoop项目提供专用硬件,包括预加载有Cloudera的Apache Hadoop发行版(简称CDH)以及专门针对MarkLogic NoSQL数据库的设备。这些产品如今已经准备好迎接由Ivy Bridge至强CPU、千兆以太网或InfiniBand高性能节点网络共同带来的新一波性能升级。

  以严谨态度对待Hadoop

  SGI公司一直以严谨的态度对待Hadoop。在之前由ZDNet至顶网发起的采访中,SGI产品营销副总裁Bill Mannel对此作出了解释。SGI不仅仅打造硬件设备并安装相关软件,同时也针对SGI Hadoop集群实施了以下方案:

  将CDH安装在集群中之后,SGI会从系统层面(而非机架层面)对每项组件加以测试;

  该公司聘请Cloudera认证技术人员负责为客户提供理想的集群安装服务;

  SGI还拥有一支专业服务团队,与Cloudera认证开发人员共同处理MapReduce及其它大数据编码及开发工作。

  SGI声称其前一代Sandy Bridge Hadoop集群保持着Hadoop Terasort基准测试的性能记录。很显然,该公司希望通过Ivy Bridge带来的性能升级让自己的产品在未来继续保持领先优势。

  NoSQL方面也不含糊

  SGI严谨对待Hadoop,并且在NoSQL方面也不含糊。SGI与MarkLogic公司建立了独家合作关系,因此我们无法在其产品中看到DataStax/Cassandra或者MongoDB的身影。NoSQL设备提供四分之一、二分之一、全机架乃至多机架配置,而且与Hadoop集群一样采用系统层面的严格测试。SGI还将为客户推出包含一个、两个或者三个节点的开发机型,帮助他们获得NoSQL实验性环境。

  SGI目前拥有一系列美国政府机构客户,这些客户已经纷纷建立起规模庞大的Hadoop集群。SGI还为电子商务巨头eBay旗下的PayPal部门提供大型Hadoop集群,旨在帮助PayPal进行欺诈行为的检测分析。

  SGI在大数据领域给出的承诺显示出该公司进军NoSQL及Hadoop主流市场的高度自信。此外,SGI还将在日渐兴盛的Hadoop交钥匙解决方案领域一展拳脚。在这种情况下,SGI不再以企业软件供应商的身份出现、而是以高端硬件供应商的角色为客户提供交钥匙解决方案。

时间: 2024-10-04 19:44:00

SGI利用Ivy Bridge打造Hadoop集群与NoSQL设备的相关文章

Hadoop集群中利用HBase更加高效地进行查询和优化海量数据

本文将帮助读者在大数据云计算 Hadoop 集群应用中利用 HBase 更加高效.直观.便捷地进行存储,查询和优化海量数据. 2006 年 11 月,Google 发表了一篇名为< BigTable >论文 , 2007 年 2 月,Hadoop 的开发人员对其进行实现并命名为 HBase. HBase 是基于 Hadoop 之上的一种新型的基于列存储的开源数据存储架构,用于解决大数据问题,是 Hadoop 的分布式数据库. HBase 现在已经比较成熟,最新的稳定版本是 0.94.x.HBa

【Big Data】HADOOP集群的配置(一)

                       Hadoop集群的配置(一) 1.    实验准备 1.1    目的: 在虚拟机环境下,让同学们学会从零开始配置Hadoop-2.2集群,并尝试在真实环境下搭建集群. 1.2    主要内容: 物理机器总共4台,想配置基于物理机的Hadoop集群中包括4个节点: 1 个 Master, 3个 Salve ,节点之间局域网连接,可以相互 ping通.IP的分布如表1所示.             表1        4个节点的IP地址分配及角色 Ma

【Big Data】HADOOP集群的配置(二)

Hadoop集群的配置(二) 2.8 节点之间的免密码通信 1.什么是SSH SSH是Secure Shell的缩写,由IETF的网络工作小组(Network Working Group)所制定:SSH为建立在应用层和传输层基础上的安全协议.SSH是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议.利用SSH协议可以有效防止远程管理过程中的信息泄露问题. 从客户端来看,SSH提供两种级别的安全验证. 第一种级别  基于口令的安全验证 只要知道自己的帐号和口令,就可以登录到远程主机.所有

Hadoop集群容易被攻击的几个场景

本文讲的是Hadoop集群容易被攻击的几个场景, 前言 Hadoop是成为大数据分析平台的主流产品,其安全性一直深受诟病,而针对安全的各种配置也都比较复杂,因此我们在一些场景的配置下进行安全测试,看看究竟哪些场景可能会被攻击. 1.HDFS脆弱性测试 1.1.用户冒充,访问任意文件操作 受影响的环境:在hdfs-core.xml文件中配置,Simple模式,dfs.permissions.enabled开启或关闭均可. 方法:利用客户机1远程进行操作,如果当前客户机1和2分别建立不同密码的用户u

威胁蔓延 Hadoop集群面临勒索风险

2017年初,大数据生态基础软件就陷入了一场全球范围内的大规模勒索攻击.随着MongoDB.ElasticSearch等软件系统遭遇勒索攻击以外,战火已经蔓延到Hadoop集群系统,黑客删除或破坏用户数据后,利用比特币平台进行匿名勒索,称缴纳赎金以后才能提供恢复数据的方法.该事件已在全世界范围内造成了广泛的影响并给相关组织造成了严重的经济损失. 勒索事件综述: 从2016年12月27日发现一些裸奔的MongoDB用户数据被黑客删除起截至2017年2月3日根据shodan.io的统计结果显示,在中

Hadoop集群遭遇勒索软件攻击 据称中国有8300多个Hadoop集群暴露在互联网上

继上周绿盟科技发布 ElasticSearch专项报告 以来,又监测到勒索软件正在攻击Hadoop集群,这再次表明黑客正在尝试从"大数据"中获利,绿盟科技给出的建议是关闭端口.启用安全认证机制.使用WVSS Web应用漏洞扫描等方式进行安全扫描.绿盟科技发布的专项报告全文如下: 勒索软件攻击Hadoop事件综述 最近,部分黑客组织针对几款特定产品展开了勒索攻击.截止到上周,已有至少34000多台MongoDB数据库被黑客组织入侵,数据库中的数据被黑客擦除并索要赎金.随后,在2017年1

Hadoop 集群管理上的新“绝招”

Hadoop在一些企业部署时,往往会遇到多个用户各自创建的数据处理工作的情况.这些工作都运行在同一个Hadoop系统上时,他们之间可能会彼此冲突,争夺可用的处理器资源. David Clubb,在移动游戏平台和市场公司Chartboost的高级数据工程师,试图优化大数据技术,提升产品体验时,也遇到了Hadoop集群管理的问题."我们正在更新Hadoop软件,并试图将其迁移到新的集群,但并没有找到监控集群的好方法,"Clubb说道."你可以看到工作在运行,但你却不能看到其所使用

基于Hadoop集群的大规模分布式深度学习

前言 在过去的十年里,Yahoo一直持续投资建设和扩展Apache Hadoop集群,到目前为止共有超过4万台服务器和600PB数据分布在19个集群上.正如在2015 Hadoop 峰会上介绍的,我们在自己的服务器上开发了可扩展的机器学习算法,用于分类.排序和计算词向量.目前,Hadoop集群已成为Yahoo大规模机器学习的首选平台. 深度学习(Deep Learning, DL)是雅虎很多产品的核心技术需求.在2015 RE.WORK深度学习峰会上,Yahoo Flickr团队(Simon O

《Hadoop实战第2版》——1.7节Hadoop集群安全策略

1.7 Hadoop集群安全策略众所周知,Hadoop的优势在于其能够将廉价的普通PC组织成能够高效稳定处理事务的大型集群,企业正是利用这一特点来构架Hadoop集群.获取海量数据的高效处理能力的.但是,Hadoop集群搭建起来后如何保证它安全稳定地运行呢?旧版本的Hadoop中没有完善的安全策略,导致Hadoop集群面临很多风险,例如,用户可以以任何身份访问HDFS或MapReduce集群,可以在Hadoop集群上运行自己的代码来冒充Hadoop集群的服务,任何未被授权的用户都可以访问Data