NetApp支持Lustre迈向大数据阵营

SC11大会上,NetApp推出了两款结合E阵列和开源超级计算文件系统Lustre的解决方案包,将目光瞄准了HPC和大数据领域。

与此同时,NetApp已经和Whamcloud(风险投资为其后备支持)合作,形成HPC储存业资深人士所组成的">全球网络用来促进Open Benchmark for Lustre (OBL)的发展。他们说该种方法应该可以帮到用户比较供应商所提供的Lustre存储。

首先是NetApp的High Performance Computing Solution for Lustre (HPCSL)。据称,“可有效扩展带宽和密度”,实现30GB/s的写入速度。他们通过高带宽和IOPS优化E5400的存储性能。在40u的机架 下,DenseStak可用来优化存储密度得到最大存储量,使用10 个 4U E5400的机箱可承载五个抽屉,每个抽屉支持12个驱动器,总共为600个驱动器。

NetApp 4U的DenseStak机箱

其次是Seismic Processing Solution (SPS) 方案解决包。在40U机架中,使用Quantum的StorNext文件虚拟系统,可以达到最高1.8PB的E系列存储。在一个4U的机箱中得到 4.4GB/s的带宽,而且通过添加机箱能够实现更大的带宽。整个机架就可以实现50GB/S的读入和35GB/s的写入带宽。

满载的FastStak机架提供的性能可达100GB/s的持续磁盘读入吞吐量,70GB/s的持续磁盘写吞吐量,和1500000持续的IOPS。

基准测试

那么为什么NetApp要强调Lustre的基准测试?我们推断NetApp认为它的系统将会运行的不错,但是Whamcloud的CTO Eric Barto认为行业标准的基准测试应该是能够提供常见的配置指导和性能参考点。

NetApp和Whamcloud联合表示:“OBL将会提供一个用于优化安装的增强配置指导的框架。这种基准测试将有助于框架的形成,在带宽、效率、功耗和空间方面做出提高效率的部署决策。”

该项目被视为在行业合作中鼓励供应商公布透明的配置。之后,在不同的存储环境中,基准测试数据将会公开用来Lustre的同类比较。

(责任编辑:蒙遗善)

时间: 2024-10-14 08:16:59

NetApp支持Lustre迈向大数据阵营的相关文章

存储:迈向大数据时代的最佳媒介

文章讲的是存储:迈向大数据时代的最佳媒介,虽然中国大数据市场还处在初级阶段,但增速非常迅猛,应用也极其广泛,不管是云计算.物联网.智慧城市还是移动互联都要与大数据扯上关系.都说未来是数据为王的时代,大数据应用将会越来越广泛的落地在各个领域,大数据绝对是企业未来实现业务突破的重点.那么,到底大数据和存储有什么样的关系呢? 三大点囊括大数据需求 大数据就是大量的数据,人们用它来描述和定义信息爆炸时代产生的海量数大数据时代来临.那么,大数据到底有多大?有资料显示,一天之中,互联网产生的全部内容可以刻满

存储,迈向大数据时代的最佳媒介

文章讲的是存储,迈向大数据时代的最佳媒介,虽然中国大数据市场还处在初级阶段,但增速非常迅猛,应用也极其广泛,不管是云计算.物联网.智慧城市还是移动互联都要与大数据扯上关系.都说未来是数据为王的时代,大数据应用将会越来越广泛的落地在各个领域,大数据绝对是企业未来实现业务突破的重点.那么,到底大数据和存储有什么样的关系呢? 三大点囊括大数据需求 大数据就是大量的数据,人们用它来描述和定义信息爆炸时代产生的海量数大数据时代来临.那么,大数据到底有多大?有资料显示,一天之中,互联网产生的全部内容可以刻满

“四表合一” 西宁公共事业开始迈向“大数据”时代

随着省城海湖新区新华联小区电.水.气.热"四表合一"采集试点建设的顺利推进,西宁市公共事业开始迈向"大数据"时代. 据了解,由国家发展改革委和国家能源局提出和推动的"四表合一"采集应用工作,依托电力集抄的经验和技术,利用电力采集终端的广泛覆盖性,在现有采集平台实现电.水.气.热等公共事业数据一体化远程抄收,从而提高政府公共服务水平,解决为民服务"最后一公里"问题. 据公司相关负责人介绍,由于"四表合一"是一

“大数据”与“海量数据”的区别

如果仅仅是海量的结构性数据,那么解决的办法就比较的单一,用户通过购买更多的存储设备,提高存储设备的效率等解决此类问题.然而,当人们发现数据库中的数据可以分为三种类型:结构性数据.非结构性数据以及半结构性数据等复杂情况时,问题似乎就没有那么简单了. 大数据汹涌来袭 当类型复杂的数据汹涌袭来,那么对于用户IT系统的冲击又会是另外一种处理方式.很多业内专家和第三方调查机构通过一些市场调查数据发现,大数据时代即将到来.有调查发现,这些复杂数据中有85%的数据属于广泛存在于社交网络.物联网.电子商务等之中

大数据在教育领域如何应用?

数据(data),一般而言是指通过科学实验.检验.统计等方式所获得的,用于科学研究.技术设计.查证.决策等目的的数值.通过全面.准确.系统地测量.收集.记录.分类.存储这些数据,再经过严格地统计.分析.检验这些数据,就能得出一些很有说服力的结论.大规模.长期地测量.记录.存储.统计.分析这些数据,所获得的海量数据就是大数据(big data).在制作大数据时,需要严格的方案设计.变量控制和统计检验等,不然所获得的大数据就是不全面.不准确.无价值或价值不大的. 在教育特别是在学校教育中,数据成为教

福州发布《关于运用大数据加强对市场主体服务和监管实施方案》

福州政府网站消息,日前,福州市出台<关于运用大数据加强对市场主体服务和监管实施方案>(以下简称<方案>),<方案>提出,到2017年,建立健全政府对市场主体服务和监管相关的大数据资源的统筹规划.归集整合.共享开放的管理协调机制:到2018年,健全完善大数据应用基础设施,着力拓展.提升重点领域的大数据应用:到2020年,政府服务和监管的精细性.针对性.有效性.预见性显著增强,运用大数据成为提高政府治理能力的重要手段. 根据<方案>了解到,福州市为政府运用大数据

大数据有大价值 顶尖公司大数据收入榜单

据了解,互联网上每一秒钟传输的视频,需要花费一个人5年的时间才能看完.可以说,用"海量.爆炸性增长"来形容大数据,已经不是什么新鲜事了.(以下数据来自:2015年中国大数据交易白皮书) 据统计,2014年全球大数据市场规模达到285亿美元,实现53.23%的增长,2015年,全球大数据总体加速发展趋势不变,预计大数据市场规模将达到421亿美元;到2020年,全球大数据市场规模将达到1263.21亿美元,同比增长17.51%. 大数据已成为全球IT支出的新增长点,这块不断增大的蛋糕开始吸

第二届大数据世界论坛 聚焦行业需求

本文讲的是第二届大数据世界论坛 聚焦行业需求,随着现代技术的发展,企业产生的业务数据和客户数据早已汗牛充栋.如何有效的组织管理数据,提供商业解决方案,已经不是单纯的IT技术问题,而是与企业未来发展前途攸关的关键性问题.大数据时代已经到来!大数据正在成为IT业界的焦点话题.为此,2012第二届大数据世界论坛(BIG DATA World Forum BDWF 2012)将于7月13日在北京隆重开幕,本届论坛的主题是"海量数据,深度分析,智慧商业". ▲点击进入IT168现场报道专题 作为

大数据的价值实现之旅

大数据开启了人类数据管理史的一段崭新旅程.人类想要测量.记录和分析世界的渴望是驱动大数据技术不断向前的动力.但如同此前的电子商务.云计算等创新构想一样,大数据也不得不怀抱变革理想在现实中披荆斩棘. 我们该如何定义我们所身处的信息技术时代?是云计算.社交.移动,还是大数据?相信每位从业者和客户都会有自己的认知与解读."一千个人眼中就有一千个哈姆雷特",很多时候是一个放之四海皆准的道理,更何况我们正在经历一段创新趋势叠加.创新领域融合的独特时期.而对于那些想要体会技术创新真正内涵的人士,有