云存储主要技术分析

云存储是在云计算概念上延伸和发展出来的一个新概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。
  
  与云计算系统相比,云存储可以认为是配置了大容量存储空间的一个云计算系统。云存储系统具有如下特点:数据安全,超强的可扩展性,按照使用收费,可跨不同应用,自动切换故障,易于管理等。云存储主要应用于备份、归档、分配和共享协作等四大领域。
  
  云存储系统是一个多设备、多应用、多服务协同工作的集合体,它的实现要以多种技术的发展为前提。根据云存储的特点及其应用领域,主要的云存储技术涉及到存储虚拟化,分布式文件系统,集群存储,存储集中管理,异质平台协同,自动分级存储等方面,当然还有重复数据删除、数据压缩等技术。
  
  一、存储虚拟化
  
  存储虚拟化(StorageVirtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个(或多个)目标服务或功能与其它附加的功能集成,统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况:屏蔽系统的复杂性,增加或集成新的功能,仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的,而这些实体则是用来提供存储资源或服务的。
  
  存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开,从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。
  
  对于用户来说,虚拟化的存储资源就像是一个巨大的“存储池”,用户不会看到具体的磁盘、磁带,也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。
  
  二、分布式文件系统
  
  Hadoop分布式文件系统(HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。它与现有的分布式文件系统有很多近似的地方,但又和这些文件系统有很明显的不同。HDFS是高容错的,设计为部署在廉价硬件上的。HDFS对应用程序的数据提供高吞吐量,而且适用于那些大数据集应用程序。HDFS开放了一些POSIX的必须接口,容许流式访问文件系统的数据。
  
  HDFS是主/从结构的。一个集群有一个名字结点,也就是主控制服务器,负责管理文件系统的名字空间并协调客户对文件的访问。还有一堆数据结点,一般一个物理结点上部署一个,负责它们所在的物理结点上的存储管理。HDFS开放文件系统的名字空间以便让用户数据存储在文件中。内部,一个文件被分割为一个或者多个数据块,这些数据块存储在一组数据结点中。名字结点执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录,还决定数据块从数据结点的映射。数据结点负责提供客户的读写请求。数据结点还依照名字结点的指令执行数据块的创建、删除和复制工作。
  
  三、集群存储
  
  集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。
  
  集群存储的优势主要体现在提高并行或分区I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更低成本的服务器来降低整体成本。集群存储有两种实现方式:一种是硬件基础架构加上软件;另一种是专用集群存储,是构建在NAS基础架构之上的,但是通过操作系统实现集群存储。

四、存储集中管理
  
  云存储管理平台要求支持跨数据中心的部署和管理,并支持跨数据中心的用户访问调度、数据迁移、数据异地存储备份等功能。
  
  支持集中管理,云存储管理平台部署在云计算的中心机房,存储节点可以部署在各地的机房中,管理平台对各分点机房的存储设备可以统一管理调度。
  
  通过云存储管理平台,用户可以方便的了解云存储系统的各个节点的服务情况,包括各节点的容量和性能(读IOPS、写IOPS、读流量、写流量)等信息,让用户实时了解域内资源信息,运行状态,从而可以操控这些资源;同时及时了解资源的异常,有必要时可以采取适当的措施保证其正常运行。
  
  五、异质平台协同
  
  当前各种存储方案与技术十分繁杂而多样,光从一家企业内部可能同时存在各种不同类型存储装置的状况便知一二,更何况不同存储设备供货商间的存储环境一直存在兼容性问题,所以喊了多年的存储整合,仍旧难以如企业需求所愿,这也是存储虚拟化与云存储推展上的最大阻力。
  
  虽然存储云端在某方面很容易跨入(例如在线存储与备份),但另一方面想要透过私有云存储来达成全面性之存储整合,似乎不是那么容易的事情。对此,想要成功完成存储虚拟化目标必须改善企业既有IT存储环境,其改善重点不外共通分享的存储架构、亲和的使用环境、简洁单一的操作界面,以及效能卓著的存储方案等。其中,不论是单一操作接口或统一标准的API,更是解决不同存储装置间协同问题的关键之一。
  
  CDMI是云存储全新标准接口,由国际存储网络产业协会SNIA制定。对于云运算来说,CDMI提供了通用云运算管理基础架构,同时原本信息管理的重点已逐渐从存储管理转移围绕在数据管理上。CDMI标准则可以协助用户将特殊诠释数据(Metadata)标记在数据上,该诠释数据会告诉端点存储供应商,什么样的数据服务提供该数据(例如备份、归档、加密等)。透过CDMI标准接口的执行,用户可在不同云端供应商间任意移动数据,不再需要忍受不同接口中重新编码的痛苦。
  
  六、自动分级存储
  
  提高存储管理效率已经成为许多企业首要解决问题,自动分级存储成为最有效的基础技术,它指的是在不同磁盘类型和RAID级别之间迁移数据块的功能,这可满足性能和空间使用之间的适当平衡,快速将数据放到合适的地方并避免所谓的热点。
  
  作为这项技术受到广泛关注,在不同层级的存储介质之间,比如FC磁盘和SATA磁盘之间,移动数据需要实现全自动化的迁移流程。
  
  在分级数据存储结构中,存储设备一般有磁带库、磁盘或磁盘阵列等,而磁盘又可以根据其性能分为FC磁盘、SCSI磁盘、SATA磁盘等多种,而闪存存储介质(非易失随机访问存储器(NVRAM))也因为较高的性能可以作为分级数据存储结构中较高的一级。一般,磁盘或磁盘阵列等成本高、速度快的设备,用来存储经常访问的重要信息,而磁带库等成本较低的存储资源用来存放访问频率较低的信息。
  
  七、小结
  
  云存储与云运算一样,必须经由网络来提供随选分派的存储资源。重要的是,该网络必须具备良好的QoS机制才行。对于用户来说,具备弹性扩展与随使用需求弹性配置的云存储,可节省大笔的存储设备采购及管理成本,甚至因存储设备损坏所造成的数据遗失风险也可因此避免。总之,不论是端点使用者将数据备份到云端,抑或企业基于法规遵循,或其他目的的数据归档与保存,云存储皆可满足各方的不同需求,所有云存储技术的发展都要确保实现这一目标。

时间: 2024-07-29 16:40:15

云存储主要技术分析的相关文章

中国数据:成功申报南京市云存储工程技术研究中心

日前,南京市科学技术委员会公布并举行了2012年市级工程研究中心授牌仪式,江苏邦宁科技有限公司(公司主品牌"中国数据",以下简称中国数据)成功申报并获批建立南京市云存储工程技术中心. 按照南京市科学技术委员会的规划,本次授牌工程研究中心旨在引导和鼓励大中型工业企业和高新技术企业建立研发机构,促进企业进行产品与技术创新研发.中国数据•南京市云存储工程中心将成为南京市云存储技术研究.交流和发展的平台,成为该领域新技术和新产品的孵化器,填补南京市互联网行业该领域的空白,全面助推南京市互联网产

云存储关键技术

引言 云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云.用户通过电脑.笔记本.手机等方式接人数据中心,按自己的需求进行运算.目前,对于云计算仍没有普遍一致的定义.结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性.高扩展性.用户友好性.良好的管理性. 1云存储架构图 橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监

云存储:技术、平台还是服务?

谈到云存储,第一个想到的一定是Amazon,也就是当初那个网上卖图书的亚马逊,.COM的先驱.不知道从什么时候起,亚马逊也开始卖起了存储服务,又成为了云存储服务的先驱. 云存储就在我们身边 亚马逊提供一种称为弹性计算云(Amazon EC2,Amazon Elastic Compute Cloud)的服务.借助Amazon EC2,用户可创建操作系统.应用程序和配置设置等机器映像;然后上载至亚马逊简单存储服务(Amazon S3,Amazon Simple Storage Service)并注册

浅析云存储的技术特点和系统架构

不同类型的云存储运营商对外提供的服务不同.根据云存储提供的服务类型和面向的用户不同,云存储服务可以分为个人级应用和企业级应用. 一.个人级云存储应用 1. 网络磁盘 相信很多人都使用过腾讯.MSN等很多大型网站所推出"网络磁盘"服务.网络磁盘是个在线存储服务,使用者可通过WEB访问方式来上传和下载文件,实现个人重要数据的存储和络化备份.高级的网络磁盘可以提供web页面和客户端软件等两种访问方式,本人在2002就用过Xdisk这个网络磁盘软件系统,它可以通过客户端软件在本地创建一个名盘符

云存储的技术前提

从云存储结构模型可知,云存储系统是一个多设备.多应用.多服务协同工作的集合体,它的实现要以多种技术的发展为前提. 一.宽带网络的发展 真正的云存储系统将会是一个多区域分布.遍布全国.甚至于遍布全球的庞大公用系统,使用者需要通过ADSL.DDN等宽带接入设备来连接云存储,而不是通过FC. SCSI或以太网线缆直接连接一台独立的.私有的存储设备上.只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到云存储服务,否则只能是空谈. 二. WEB2.0技术

云存储技术在安防监控系统中的运用

大数据在安防行业的应用使得安防更加智能化,大数据的技术一般分为数据采集.存储.挖掘和分析技术.其中,智能分析居于核心地位.而智能分析是安防大数据区别于IT大数据的重点之一,只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据,才能将IT大数据成熟的技术体系应用到安防大数据中,充分发挥安防大数据的作用. 安防存储技术发展现状 存储在安防行业的发展过程中经历了磁带存储.DVR.NVR.SAN直存等产品形态,新兴的软件定义.云存储等概念也是层出不穷,但无论怎样发展,存储起到的作用始终是是写入

分析:云存储和电子发现的结合

本文讲的是分析:云存储和电子发现的结合,[IT168 资讯]首先,我们将云定义为基于云存储的技术.通常,这种定义意味着通过互联网提供可扩展的以及虚拟化的计算资源.但云不单单是这样,还有更多功能,而对于如何扩展该定义的意见也各不相同. 对于 电子发现 而言,基于云的计算主要表现为一个基于云的主机站点,并且在主机数据上运行的是 电子发现 的服务.但是,某些评论认为 SaaS 根据其定义本身就是基于云的计算,因为这种应用通过互联网提供.我不同意.我不认为,基于 Web 的软件发布或基于浏览器的应用程序

云存储技术和电子发现相结合

本文讲的是云存储技术和电子发现相结合,[IT168 资讯]首先,我们将云定义为基于云存储的技术.通常,这种定义意味着通过互联网提供可扩展的以及虚拟化的计算资源.但云不单单是这样,还有更多功能,而对于如何扩展该定义的意见也各不相同.  对于 电子发现 而言,基于云的计算主要表现为一个基于云的主机站点,并且在主机数据上运行的是 电子发现 的服务.但是,某些评论认为 SaaS 根据其定义本身就是基于云的计算,因为这种应用通过互联网提供.我不同意.我不认为,基于 Web 的软件发布或基于浏览器的应用程序

杰赛科技:一种基于分布式技术的云存储技术

作为近几年兴起的云计算的一大重要组成部分,云存储承担着最底层以服务形式收集.存储和处理数据的任务. 企业用户和个人将数据托管给第三方,通过公有云.私有云或混合云形式对数据进行按需存取操作.云存储的优势主要在于:按需使用,按需付费;无需增加额外的硬件设施或配备专人负责维护,减少管理难度;将数据复制.备份.服务器扩容等工作交由第三方执行;快速部署配置,随时扩展增减,更加灵活可控. 在商业前景方面,以"用户创造内容"和"分享"为精神的Web2.0推动了全网域用户对在线服务