存储那些事儿(四):传统商业存储融入云计算之路

        一年前开始学习Hadoop。Hadoop, 大数据的事实标准,被Facebook, Yahoo,eBay,taobao,baidu广泛应用。Hadoop本身很复杂,包含了很多子项目,不同的应用场景催生了不同的子项目。

        最近要做OpenStack的项目,开始学习OpenStack。也反思了一下我现在所从事的行业:企业存储,路在何方?

        IT的技术发展可以说是日新月异。在人们还没有正在逐渐完善Hadoop时,Google几年前就摒弃了MapReduce的架构。现在Google的新三驾马车Caffeine、Pregel、Dremel据说可以将1PB的查询请求控制在3秒以内。这个技术我没有去了解过。但是可以肯定的是,新三驾马车对于IT的影响和几年前Google的三个论文MapReduce、BigTable、GFS相比有过之而无不及。

       那传统的商业存储的技术发展可以说相当缓慢。提出的模式很多都是基于商业而非技术。对于云计算和大数据,传统的商业存储也没有很好的应对之策,只能去融合,都是希望把自己的存储能够作为云计算时代数据中心的基础存储。本篇文章,也算是探讨如何将传统商业存储支持云计算。我们这里会将云计算细化,仅仅去讨论OpenStack和Hadoop。当然这有些片面。但是既然谁也不能给出云计算的学术定义,我们这种片面也不算是大的错误吧。

       由于我对其他友商的了解不多,因此我这里仅仅讨论EMC的ViRP是如何将EMC的存储阵列集成到Haoop和OpenStack的。

       ViPR是EMC一款软件定义存储产品ViPR,表示为Virtualization Platform Reinvented。ViPR并不是一个物理的存储系统,而是一个逻辑的存储系统。ViPR将EMC和其他第三方的存储集合起来放在一个存储池中,将存储池作为单一的系统进行管理,同时又保留底层具体存储的完整价值。ViPR可以跨越多个地点和数据中心,使用多种不同的存储平台产品,对外提供统一的块存储、文件存储以及对象存储服务,同时,ViPR提供了统一的元数据服务和自助式的部署、计量和监控服务。此外ViPR还适用于多租户环境。

    ViPR采用开放的scale-out架构,部署在一个3节点的集群上,这种架构可以为大型复杂的存储环境提供高可用性、负载平衡以及系统无干扰升级。ViPR的接口有RESTfulAPI、GUI(Console)、CLI以及SDK,可以为用户提供最大限度的灵活性。

     ViPR可以将数据中心中异构的物理存储系统抽象映射到一个大型的逻辑共享存储池,对企业级IT部门和云服务提供商提供了极大的价值。这对于地理上分布的数据中心中的存储资源管理和混合云部署是一个巨大的改进。ViPR可以有效和灵活地管理以数据为中心的云基础架构。

     ViPR解决了当前企业级IT部门和云管理员所面临的一大问题:该如何将多供应商的存储系统转移到一个云基础架构中,并且从一个中心视图管理和共享存储系统,同时仍然使用和最大化已有存储系统的能力。ViPR通过自服务管理方式简化了数据中心的存储操作并且提供了块、文件、对象储存数据的服务。

     尊重原创,转载请注明出处 anzhsoft:http://blog.csdn.net/anzhsoft/article/details/20541623
参考资料:

1. http://qing.blog.sina.com.cn/tj/88ca09aa33003lf0.html

时间: 2024-12-21 03:30:09

存储那些事儿(四):传统商业存储融入云计算之路的相关文章

存储那些事儿(四) 传统商业存储融入云计算之路

一年前开始学习Hadoop.Hadoop, 大数据的事实标准,被Facebook, Yahoo,eBay,taobao,baidu广泛应用.Hadoop本身很复杂,包含了很多子项目,不同的应用场景催生了不同的子项目. 最近要做OpenStack的项目,开始学习OpenStack.也反思了一下我现在所从事的行业:企业存储,路在何方? IT的技术发展可以说是日新月异.在人们还没有正在逐渐完善Hadoop时,Google几年前就摒弃了MapReduce的架构.现在Google的新三驾马车Caffein

关于大数据时代传统商业存储的思考:中心存储与分布式存储的对比

今天和我们部门的老大1*1, 大家面对面沟通了一下到新的项目组的想法.而且也将我对传统商业存储在当前大数据云计算发展如火如荼的背景下,如何改进,融合交流了我的看法. 传统的商业存储,诞生于大型机,小型机时代.那时候将所有的硬盘集中的放到几个机架上,大型机通过光纤,ISCSI等高速连接到存储系统上.存储系统需要保证高并发,高IO读写速度,数据冗余备份等保护. 现在x86服务器,尤其是Google这种互联网公司都是通过廉价的硬件组装成高大上的集群,分布式文件系统(GFS,HDFS),各种基于内存的系

关于大数据时代传统商业存储的思考: 中心存储 VS 分布式存储

      尊重原创,转载请注明出处:http://anzhan.me ; http://blog.csdn.net/anzhsoft        今天和我们部门的老大1*1, 大家面对面沟通了一下到新的项目组的想法.而且也将我对传统商业存储在当前大数据云计算发展如火如荼的背景下,如何改进,融合交流了我的看法.        传统的商业存储,诞生于大型机,小型机时代.那时候将所有的硬盘集中的放到几个机架上,大型机通过光纤,ISCSI等高速连接到存储系统上.存储系统需要保证高并发,高IO读写速度

CSDN专访:大数据时代下的商业存储

原文地址:http://www.csdn.net/article/2014-06-03/2820044-cloud-emc-hadoop 摘要:EMC公司作为全球信息存储及管理产品方面的领先公司,不久前,EMC宣布收购DSSD加强和巩固了其在行业内的领导地位,日前我们有幸采访到EMC中国的张安站,他就大数据.商业存储.Spark等给大家分享了自己的看法. 谈到大数据,张安站认为大数据本质上是两个根本性的问题,一个是数据很大,如何存储?另外一个是数据很大,如何分析?第一个问题,对于存储厂商来说,就

存储那些事儿(三):OpenStack的块存储Cinder与商业存储的融合

      OpenStack是一个美国国家航空航天局和Rackspace合作研发的云端运算‎软件,以Apache许可证授权,并且是一个自由软件和开放源代码项目.OpenStack是IaaS(基础设施即服务)‎软件,让任何人都可以自行建立和提供云端运算服务.此外,OpenStack也用作建立防火墙内的"私有云"(Private Cloud),提供机构或企业内各部门共享资源.       Cinder提供了OpenStack的Block Service(块服务).类似于 Amazon 的

存储那些事儿(三) OpenStack的块存储Cinder与商业存储的融合

OpenStack是一个美国国家航空航天局和Rackspace合作研发的云端运算软件,以Apache许可证授权,并且是一个自由软件和开放源代码项目.OpenStack是IaaS(基础设施即服务)软件,让任何人都可以自行建立和提供云端运算服务.此外,OpenStack也用作建立防火墙内的"私有云"(Private Cloud),提供机构或企业内各部门共享资源. Cinder提供了OpenStack的Block Service(块服务).类似于 Amazon 的 EBS 块存储服务,Ope

存储那些事儿(五) BTRFS文件系统之Btree结构详解

Btree数据结构可以说是BTRFS文件系统的基础.它提供了一个通用的方式去存储不同的数据类型.它仅仅存储3个数据类型:key, item和block header. btrfs_header的定义如下: struct btrfs_header { u8 csum[32]; u8 fsid[16]; __le64 blocknr; __le64 flags; u8 chunk_tree_uid[16]; __le64 generation; __le64 owner; __le32 nritem

传统企业级存储遭遇断崖式下跌美光转型全解决方案商

移动设备和云计算的迅猛普及导致创建.访问和存储的数据量激增,这种需求很大程度上推动着如今的计算格局不断变化.美光科技亚太区存储业务企业级销售总监Mike Prieto表示,未来将会出现的下一代计算平台将是可通过移动设备访问.使用大数据且基于云的新一代计算平台,人们可以随时随地用任何设备接入相关数据,称之为"第3代平台".包括百度.腾讯和阿里巴巴在内,很多公司现在已经是第三平台的公司了,这意味着他们在这个行业中创造出了很多机遇,并带来了巨大的变革.IDC的数据显示,在所有增长的IT开销中

数据存储"临界点"再次到来 看IBM存储如何发力!

不久前,IBM大中华区硬件系统部存储系统总经理黄永志在与媒体记者的聊天过程中,谈的一个词,"临界点".认为今天数据呈现爆炸式增长,80%是非结构化数据,企业的数据管理和分析已经到了新的临界点.如何将无序管理转变成按需分配,将简单的数据分析转化为商业洞察.只有在技术.产品上跨过一个临界点,企业才能成功转型. 其实了解IBM的应该看到,每次产业变革,IBM都是踏着临界点来引领技术变革的. 在1952年,IBM率先推出磁带存储,让磁带存储器代替日益繁冗的打孔卡广泛应用于各行业,数据存储自此从