云存储关键技术

引言

云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心,按自己的需求进行运算。目前,对于云计算仍没有普遍一致的定义。结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性、高扩展性、用户友好性、良好的管理性。

1云存储架构图

橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监控存储节点间容量及负载的均衡,这两个部分合起来便组成一个云存储。存储节点与控制节点都是单纯的服务器,只是存储节点的硬盘多一些,存储节点服务器不需要具备RAID的功能,只要能安装Linux即可,控制节点为了保护数据,需要有简单的RAID level O1的功能。

云存储不是要取代现有的盘阵,而是为了应付高速成长的数据量与带宽而产生的新形态存储系统,因此云存储在设计时通常会考虑以下三点:

(1)容量、带宽的扩容是否简便

扩容是不能停机,会自动将新的存储节点容量纳入原来的存储池。不需要做繁复的设定。

图1云存储架构图

(2)带宽是否线形增长

使用云存储的客户,很多是考虑未来带宽的增长,因此云存储产品设计的好坏会产生很大的差异,有些十几个节点便达到饱和,这样对未来带宽的扩容就有不利的影响,这一点要事先弄清楚,否则等到发现不符合需求时,已经买了几百TB,后悔就来不及了。

(3)管理是否容易。

2云存储关键技术

云存储必须具备九大要素:①性能;②安全性;③自动ILM存储;④存储访问模式;⑤可用性;⑥主数据保护;⑦次级数据保护;⑧存储的灵活;⑨存储报表。

云计算的发展离不开虚拟化、并行计算、分布式计算等核心技术的发展成熟。下面对其介绍如下:

(1)集群技术、网格技术和分布式文件系统

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。

既然是由多个存储设备构成的,不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术,实现多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。如果没有这些技术的存在,云存储就不可能真正实现,所谓的云存储只能是一个一个的独立系统,不能形成云状结构。

(2)CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证,也没有人敢用云存储了。

(3)存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布多在不同地域,如何实现不同厂商、不同型号甚至于不同类型(例如FC存储和IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。

(责任编辑:蒙遗善)

时间: 2024-07-29 16:40:17

云存储关键技术的相关文章

azure-微软云的关键技术有哪些呢??

问题描述 微软云的关键技术有哪些呢?? 微软云的关键技术有哪些呢??微软云的关键技术有哪些呢??微软云的关键技术有哪些呢?? 解决方案 另外,微软还提供了System Center,加上Windows Server和各种软件,你还可以在企业内部搭建完整的私有云平台,更好的是,两者的软件和环境几乎完全相同,你不但可以将你的应用在这两者之间互相迁移,还可以混合使用私有云和公有云. 你可以使用Azure的虚拟网络和Active Dictionary将它们整合在一起. 解决方案二: Azure和国内山寨

云存储系统关键技术研究

云存储系统关键技术研究 郑州大学    赵少锋 论文针对通用云存储系统的架构进行研究,并给出基于Hadoop处理海量小文件方法. 本文主要研究内容如下: 在对HDFS深入分析研究的基础上,综合考虑了通用云存储系统的特征,以提高存储效率为目标,提出一个云存储系统的架构. 借鉴了国内外关于HDFS中小文件处理方法,采用二维装箱算法思想和动态优化思想,设计了小文件处理算法,对HDFS中的小文件进行预处理,提高系统的响应速度.实验表明,所提出的小文件处理方法的能有效提高资源的利用率及系统的响应速度. 设

中国数据:成功申报南京市云存储工程技术研究中心

日前,南京市科学技术委员会公布并举行了2012年市级工程研究中心授牌仪式,江苏邦宁科技有限公司(公司主品牌"中国数据",以下简称中国数据)成功申报并获批建立南京市云存储工程技术中心. 按照南京市科学技术委员会的规划,本次授牌工程研究中心旨在引导和鼓励大中型工业企业和高新技术企业建立研发机构,促进企业进行产品与技术创新研发.中国数据•南京市云存储工程中心将成为南京市云存储技术研究.交流和发展的平台,成为该领域新技术和新产品的孵化器,填补南京市互联网行业该领域的空白,全面助推南京市互联网产

海量冷数据存储关键技术

近年来,移动互联网.物联网.云计算的快速发展催生并积累了大量的用户.业务数据.据市场调研机构IDC预计,未来全球数据总量年增长率将维持在50%左右,到2020年,全球数据总量将达到40ZB.据统计,这些海量数据中只有10%~15%的数据是被经常访问的,而绝大部分都会在产生之后逐渐变冷.这些"冷数据"的访问率虽然很低,但用户还是希望保留这些数据,对于企业而言,还有很多数据需要进行备份和存档. 且不管数据的冷热及其冗余备份,如果将这40ZB的数据都使用目前已量产的最大容量蓝光盘来存储,按照

云存储:技术、平台还是服务?

谈到云存储,第一个想到的一定是Amazon,也就是当初那个网上卖图书的亚马逊,.COM的先驱.不知道从什么时候起,亚马逊也开始卖起了存储服务,又成为了云存储服务的先驱. 云存储就在我们身边 亚马逊提供一种称为弹性计算云(Amazon EC2,Amazon Elastic Compute Cloud)的服务.借助Amazon EC2,用户可创建操作系统.应用程序和配置设置等机器映像;然后上载至亚马逊简单存储服务(Amazon S3,Amazon Simple Storage Service)并注册

云存储主要技术分析

云存储是在云计算概念上延伸和发展出来的一个新概念,是指通过集群应用.网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统. 与云计算系统相比,云存储可以认为是配置了大容量存储空间的一个云计算系统.云存储系统具有如下特点:数据安全

浅析云存储的技术特点和系统架构

不同类型的云存储运营商对外提供的服务不同.根据云存储提供的服务类型和面向的用户不同,云存储服务可以分为个人级应用和企业级应用. 一.个人级云存储应用 1. 网络磁盘 相信很多人都使用过腾讯.MSN等很多大型网站所推出"网络磁盘"服务.网络磁盘是个在线存储服务,使用者可通过WEB访问方式来上传和下载文件,实现个人重要数据的存储和络化备份.高级的网络磁盘可以提供web页面和客户端软件等两种访问方式,本人在2002就用过Xdisk这个网络磁盘软件系统,它可以通过客户端软件在本地创建一个名盘符

云存储的技术前提

从云存储结构模型可知,云存储系统是一个多设备.多应用.多服务协同工作的集合体,它的实现要以多种技术的发展为前提. 一.宽带网络的发展 真正的云存储系统将会是一个多区域分布.遍布全国.甚至于遍布全球的庞大公用系统,使用者需要通过ADSL.DDN等宽带接入设备来连接云存储,而不是通过FC. SCSI或以太网线缆直接连接一台独立的.私有的存储设备上.只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到云存储服务,否则只能是空谈. 二. WEB2.0技术

基于Hadoop平台的云存储应用实践

云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云.用户通过电脑.笔记本.手机等方式接人数据中心,按自己的需求进行运算.目前,对于云计算仍没有普遍一致的定义.结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性.高扩展性.用户友好性.良好的管理性. 1云存储架构图 橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监控存储