希捷James Hughes:大数据与希捷Kinetic开放式存储平台

6月5日上午,希捷科技高级存储部首席技术官James Hughes(裘剑一)在主题为“促进云计算创新发展培育信息产业新业态”的第七届中国云计算大会上,讲述了希捷公司在云计算及建造大数据存储方案方面的一些想法与实践。

希捷科技高级存储部首席技术官 James Hughes(裘剑一)

James Hughes讲到,“我们为什么要做存储?因为存储是让我们建立今后智慧城市的一个重要组成部分。没有存储,就找不到信息和结果,不能分析信息,就无法建立智慧城市。而且希捷现在看到这个数据在过去的几十年当中的增加是以成百上千倍的速度在增长。”

而今天如何能够把大量增长的数据很好的储存起来,并且为今后的10年做好准备,这就需要压缩大量的数据,我们生活的所有信息都要存储起来,2025年将达到100TB。那我们要做些什么呢?需要一种什么能力的增加呢?James Hughes认为,“存储是必须的。而且今后我们有很多的传感器,有很多摄像头。”

另外,从物联网来看,随着时间的推进,现在在做很多事情,比如远程端呈现等等,现在有越来越多的方式把互联网与以太网存储进行结合,这样存储信息有更好的方法来存储,而且还能够在后端进行分析。James Hughes表示,“目前来看它的价值比较少,但是还需要把它们存储起来,但存储的信息如果没有很好分析的话它的价值就更少,我们目前的情况是存储信息的价值非常少。”

此外,James Hughes还提出了当前的三个趋势,首先,低成本的存储对云计算来说是非常有价值的,云计算如果没有数据的存储是不能够进行分析的,所以重要一点是大数据首先从数据开始,所以首先要考虑存储的问题。物联网就是把比如电灯炮、卫生间等一切都电脑化,所有这一切都会电脑化。生活当中所有一切都用电脑来操作是很疯狂的事情,但是现在已经实现了这一点。

第二,是监控,摄像头、监控器无处不在,比如英国英格兰,现在差不多每11个人会存在一个监控器来监控他们,在中国有14万多个或者更多的监控器存在。有各种不同的使用方式来实现它的价值。现在硬盘驱动的成本已经变成零了,但是把所有信息放在一起的系统成本还是很贵的,也就是说装这些信息、数据的成本越来越贵,所以就诞生云计算,就出现了“对象存储”。而“对象存储”是一种新的思维方式。

第三,还有POSIX,希捷利用POSIX已经有50年了,1964年时POSIX非常重要,因为文件尺寸比人的记忆力大得多,就是说人的大脑已经记忆不下这么多信息了,必须在存储系统当中进行计算和处理,所以有了POSIX设计,可以在存储内部做很多工作,而且也可以改变不同文件的内容。但是如果今天要改变PPT当中的一个号码、一个数字的话,那还是不会用POSIX来做,而是从主存储器读取这个数据,改变这个数字,再把它抽回来。这就是对象存储。这也意味着文件的读取、书写、替换和删除都不会在存储系统当中来修改,因此,存储系统价格和传统的POSIX相比价格下降了一半。所以,随着驱动变得越来越大,要尽量降低系统的成本。

在美国有很多不同的创业公司,它们获得了风投公司的资质,这些公司都是一些初创公司,在2014年它们获得大概3亿美元资金,做的是对象存储的研发,他们做这个工作的目的是为了降低存储系统的成本。同时,要可以用于云的计算系统中,也可以进入到企业的数据中心来使用。

希捷正是看到了这种趋势,看到所有这些公司都在生产对象存储,所以James Hughes讲到,“希捷希望能够创建一个硬盘驱动帮助这些公司,通过简单的API、简单的硬盘驱动可以使得对象存储更简单、成本更低。传统的系统应用在数据库上运行,会与文件系统一同进行。希捷创建了一种硬盘存储,在用户端不再需要驱动,用户可以通过互联网进行对话。”

另外,James Hughes补充到,“设备也会有API,这是API的关键价值,我们在转换很多存储系统的网络可以在两周内完成,希捷认为使用动态的驱动有能力建立更简单的存储系统。但很多人担心未来的硬盘驱动,但是希捷的动态存储现在有更多的方案。用户可以从不同的厂商获得这样的存储系统或者硬盘驱动。”

关于绿色环保方面,James Hughes表示,“绿色意味着对环境更友好,而对于48TB的服务器,要1200瓦,这是比较传统的服务器。但是现在的硬盘驱动更小、更聪明了,所以完全可以直接和硬盘驱动进行对话。使得新一代的硬盘驱动和传统的硬盘驱动相比,价格要更便宜,因此“绿色”也意味着成本方面更优化,使用传统服务器的价格将近要8000,但使用动态系统的价格大概只有一半。希捷的这个存储设备有12个芯片,芯片几乎是零成本,同时可以分步计算,使这种解决方案有更好的性能、更好的效率。”

最后,James Hughes总结说,“我的预测是到2025年将到达100TB存储的容量,但不管存储有多大,人们总是希望越多越好。如果存储是免费的,为什么还要删掉东西呢?再看一下EB,2025年EB将会达到10个机柜,成本很低。为了实现这样的愿景我们需要做好两点,第一需要对象存储,因为对象存储很简单,也就意味着成本更低、可靠性更高,但这也需要开源的软件来帮助实现。像CEPH、Swift都是开源软件,可以让我们动态系统更好的使用。然后是API,应用编程衔接是非常重要的,存储的API是实现成本降低的关键和基础。而第二点是动态硬盘驱动,这也是专门针对对象存储来设计的。”

原文发布时间为:2015年6月5日

本文作者:李超

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-09-22 02:32:56

希捷James Hughes:大数据与希捷Kinetic开放式存储平台的相关文章

大数据应用:本地服务器存储胜过SAN?

磁盘存储就像是衣橱,永远不够用,在大数据时代,这一点尤为突出."大数据"意味着需要比传统存储平台处理更多的数据.在为大数据选择存储服务时也并不是完全无迹可寻. 何谓大数据 首先,我们需要清楚大数据与其他类型数据的区别以及与之相关的技术(主要是分析应用程序).大数据本身意味着非常多需要使用标准存储技术来处理的数据.大数据可能由TB级(或者甚至PB级)信息组成,既包括结构化数据(数据库.日志.SQL等)以及http://www.aliyun.com/zixun/aggregation/13

云存储时代的创新架构 希捷Kinetic开放存储平台

  今年9月份,希捷宣布成立新的云系统与解决方案部门,提供四大领域的解决方案:集成的高性能计算解决方案,可扩展的模块化组件与解决方案,OEM以及云备份/恢复定制系统,灾难恢复和快速存档解决方案.希捷希望借此从一家传统硬盘厂商,凭借着云存储战略以及日益扩张的企业级产品组合,进军企业级市场. 希捷Kinetic开放存储平台就是希捷在云存储方面推出的新服务,Kinetic开放存储平台不仅能简化数据管理,提高性能和可扩展性,还可以同时将一般云基础设施的总体拥有成本(TCO)降低至50%,这是横向扩展存储

大数据应用之双色球算奖平台总体设计数据规模估算篇

作者:张子良 版权所有,转载请注明出处 引子:什么才算大数据? 自从写了上一篇<大数据应用之双色球算奖平台总体设计大纲篇一>,受到许多园友的关注和指导,在此表示感谢,尤其是园友个人知识管理给出的一个评论,让我深思,原文如下"双色球算奖这么简单的活,也称大数据.先生:不是数据多,叫大数据.双色球算奖,用Oracle数据库的索引,1分钟内就算完.关键是人家不想这么快".话不太好听,尤其是称我为先生那句,但却发人深思,是啊:到底什么是大数据呢?选择双色球算奖作为大数据应用的切入点

大数据应用之双色球算奖平台总体设计历史数据存储篇

作者:张子良 版权所有,转载请注明出处 1.1 引子:文件OR数据库 历史期次的双色球选注数据的存储,采用什么样的格式比较好呢?这需要重点从三个方面考虑,一.文件访问方便吗?二.文件服务器空间够用吗?三.软硬件故障环境下,如何保障数据的可用性.基于这几个方面的考虑,到底是采用文件存储还是采用数据库存储呢?本文,从传统和前沿技术两个角度给出了两种相应的解决方案. 1.2 文件存储 1.2.1 三大问题 根据上一篇<大数据应用之双色球算奖平台总体设计数据规模估算篇>分析,双色球单期次数据的存储规模

大数据:选择适合的存储选项

据国外媒体报道,大数据正全面展开,你的事情是时候参加大数据的"浪潮"中来了. 但是,从哪里开始呢?对于那些服务和提供者来说,每个选择都不简单.虽然起初多种选项似乎令人生畏,不过一旦理解了公司对大数据的目标,你将会感激大数据为企业带来的改变. 在决定实施大数据之后,就会想要决定是在站点存储数据还是在云中.客观看待,实施大数据的目的和现有资源,将会对决定哪种存储选项能更好的满足公司的目标有非常大的帮助.现实的目的实现大数据和现有资源,将会在很长一段时间在决定哪些存储选项将最好地满足贵公司的

CSDN专访:大数据时代下的商业存储

原文地址:http://www.csdn.net/article/2014-06-03/2820044-cloud-emc-hadoop 摘要:EMC公司作为全球信息存储及管理产品方面的领先公司,不久前,EMC宣布收购DSSD加强和巩固了其在行业内的领导地位,日前我们有幸采访到EMC中国的张安站,他就大数据.商业存储.Spark等给大家分享了自己的看法. 谈到大数据,张安站认为大数据本质上是两个根本性的问题,一个是数据很大,如何存储?另外一个是数据很大,如何分析?第一个问题,对于存储厂商来说,就

阿里HBase超详实践总结 | 一文读懂大数据时代的结构化存储

前言 时间回到2011年,Hadoop作为新生事物,在阿里巴巴已经玩得风生水起,上千台规模的"云梯"是当时国内名声显赫的计算平台. 这一年,Hadoop的好兄弟HBase由毕玄大师带入淘宝,开启了它的阿里之旅.从最初的淘宝历史交易记录,到去年的支付宝消费记录存储在线历史存储统一:从蚂蚁安全风控的多年存储演进,到HBase.TT.Galaxy的大数据激情迭代:HBase在阿里经历过年轻的苦涩,释放过青春的活力,也付出过成长的代价.几代人的不懈努力下,五年陈的HBase开始表现出更成熟.更

大数据时代的结构化存储—HBase在阿里的应用实践

前言 时间回到2011年,Hadoop作为新生事物,在阿里巴巴已经玩得风生水起,上千台规模的"云梯"是当时国内名声显赫的计算平台. 这一年,Hadoop的好兄弟HBase由毕玄大师带入淘宝,开启了它的阿里之旅.从最初的淘宝历史交易记录,到去年的支付宝消费记录存储在线历史存储统一:从蚂蚁安全风控的多年存储演进,到HBase.TT.Galaxy的大数据激情迭代:HBase在阿里经历过年轻的苦涩,释放过青春的活力,也付出过成长的代价.几代人的不懈努力下,五年陈的HBase开始表现出更成熟.更

大数据应用之双色球算奖平台总体设计大纲篇一

作者:张子良 版权所有,转载请注明出处 引子:双色球延期开奖,你Hold住了吗 福利彩票走进百姓生活,每期的500w大奖吸引了千万彩民的眼球和关注,备受争议的双色球延期开奖也成了争议的焦点,成为继12306之后,又一个站在风口浪尖的悲催儿.黑幕说,红会说,各种说甚嚣尘上.IT人只做技术事,至于类似美美卡里究竟几个零,一套内衣值几多银子的问题,还是交给干爹们去撕扯吧.当然福彩中心是不是红会,还是交给时间来证明吧. 一 概述 本文作者试图从纯技术的角度解决双色球延迟开奖的问题,不考虑其他因素,用最新