深度剖析云存储

云存储(cloud storage)这个概念一经提出,就得到了众多厂商的支持和关注。Amazon在两年前就推出的Elastic Compute Cloud(EC2:弹性计算云)云存储产品,旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。内容分发网络服务提供商CDNetworks和业界著名的云存储平台服务商 Nirvanix发布了一项新的合作,并宣布结成战略伙伴关系,以提供业界目前唯一的云存储和内容传送服务集成平台。半年以前,微软就已经推出了提供网络移动硬盘服务的Windows Live SkyDrive Beta测试版。近期,EMC宣布加入 道里可信基础架构项目,致力于云计算环境下关于信任和可靠度保证的全球研究协作,IBM也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。

云存储变得越来越热,大家众说纷”云”,而且各有各的说法,各有各的观点,那么到底什么是云存储?

1 什么是云存储

云存储在云计算 (cloud computing)概念上延伸和发展出来的一个新的概念。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和”超级计算机”同样强大的网络服务。

云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。

如果这样解释还是难以理解,那我们可以借用广域网和互联网的结构来解释云存储。

云状的网络结构

相信大家对局域网、广域网和互联网都已经非常了解了。在常见的局域网系统中,我们为了能更好地使用局域网,一般来讲,使用者需要非常清楚地知道网络中每一个软硬件的型号和配置,比如采用什么型号交换机,有多少个端口,采用了什么路由器和防火墙,分别是如何设置的。系统中有多少个服务器,分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆,分配了什么 xml:lang=IP地址和子网掩码。

但当我们使用广域网和互联网时,我们只需要知道是什么样的接入网和用户名、密码就可以连接到广域网和互联网,并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器,不需要知道数据是通过什么样的路由到达我们的电脑,也不需要知道网络中的服务器分别安装了什么软件,更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。

广域网和互联网对于具体的使用者是完全透明的,我们经常用一个云状的图形来表示广域网和互联网,如下图:

虽然这个云图中包含了许许多多的交换机、路由器、防火墙和服务器,但对具体的广域网、互联网用户来讲,这些都是不需要知道的。这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务,无论我们在任何地方,都可以通过一个网络接入线缆和一个用户、密码,就可以接入广域网和互联网,享受网络带给我们的服务。

参考云状的网络结构,创建一个新型的云状结构的存储系统系统,这个存储系统由多个存储设备组成,通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作,并通过一定的应用软件或应用接口,对用户提供一定类型的存储服务和访问服务。

当我们使用某一个独立的存储设备时,我们必须非常清楚这个存储设备是什么型号,什么接口和传输协议,必须清楚地知道存储系统中有多少块磁盘,分别是什么型号、多大容量,必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性,我们还需要建立相应的数据备份系统和容灾系统。除此之外,对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。

如果采用云存储,那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的,任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接,对云存储进行数据访问。

云存储不是存储,而是服务

就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。

云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。

2 云存储的结构模型

与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。云存储系统的结构模型如下:

云存储系统的结构模型由 4层组成。

一、存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和 iSCSI等IP存储设备,也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域,彼此之间通过广域网、互联网或者 FC光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。

二、基础管理层:

基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

三、应用接口层:

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台,远程数据备份应用平台等。

四、访问层:

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。

3 云存储的技术前提

从上面的云存储结构模型可知,云存储系统是一个多设备、多应用、多服务协同工作的集合体,它的实现要以多种技术的发展为前提。

一、宽带网络的发展

真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统,使用者需要通过ADSL、DDN等宽带接入设备来连接云存储,而不是通过FC、 SCSI或以太网线缆直接连接一台独立的、私有的存储设备上。只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到云存储服务,否则只能是空谈。

二、 WEB2.0技术

Web2.0 技术的核心是分享。只有通过web2.0技术,云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备,实现数据、文档、图片和视音频等内容的集中存储和资料共享。Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。

三、应用存储的发展

云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本,减少系统中由服务器造成单点故障和性能瓶颈,减少数据传输环节,提供系统性能和效率,保证整个系统的高效稳定运行。

四、集群技术、网格技术和分布式文件系统

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。

既然是由多个存储设备构成的,不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术,实现多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。如果没有这些技术的存在,云存储就不可能真正实现,所谓的云存储只能是一个一个的独立系统,不能形成云状结构。

五、 CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证,想来也没有人敢用云存储,否则,保存的数据不是很快丢失了,就是全国人民都知道了。

六、存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布在多不同地域,如何实现不同厂商、不同型号甚至于不同类型(如FC存储和 IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。

云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心,但对于云存储的运营单位来讲,却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台,可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。

时间: 2024-07-31 05:09:33

深度剖析云存储的相关文章

剖析云存储

云存储(cloud storage)这个概念一经提出,就得到了众多厂商的支持和关注.Amazon在两年前就推出的Elastic Compute Cloud(EC2:弹性计算云)云存储产品,旨在为用户提供互联网服务形式同时提供更强的存储和计算功能. 云存储(cloud storage)这个概念一经提出,就得到了众多厂商的支持和关注.Amazon在两年前就推出的Elastic Compute Cloud(EC2:弹性计算云)云存储产品,旨在为用户提供互联网服务形式同时提供更强的存储和计算功能.内容分

深度分析云存储中虚拟化技术构成及应用

存储领域国际权威机构SNIA(存储网络工业协会)给出了存储虚拟化(StorageVirtualization)的定义:"通过将存储系统/子系统的内部功能从应用程序.计算服务器.网络资源中进行抽象.隐藏或隔离,实现独立于应用程序.网络的存储与数据管理".存储虚拟化技术将底层存储设备进行抽象化统一管理,向服务器层屏蔽存储设备硬件的特殊性,而只保留其统一的逻辑特性,从而实现了存储系统的集中.统一.方便的管理. 与传统存储相比,虚拟化存储的优点主要体现在:磁盘利用率高,传统存储技术的磁盘利用率

云存储大热:商业模式或仍在云端

每当你登录微博,微博小秘书会温馨地提醒你有2G的"微盘"供你使用:每当你登录邮箱,邮箱提示会告诉你邮箱有1G的网盘空间正空闲:每当你登录搜索引擎,也会告知你有超大的15G网盘是免费赠送的--作为一个互联网用户,这种从天而降的"免费午餐"在感觉上是幸福的,但对于众多涌入云存储市场的互联网服务商而言,他们却不得不面对这样一种尴尬:一旦收费,用户就可能掉头而去.这种情况和曾经试图收费的电子邮件服务颇为类似,那为何仍然有新浪.百度.网易.腾讯等众多的巨头对云存储市场趋之若鹜

深度解析阿里云存储

 国际知名调研机构Gartner近日公布了2017年全球云计算云存储魔力象限,阿里云的云存储强势崛起成为这一核心领域的前四名. 图1 2017年Gartner全球云存储魔力象限图 在去年首次进入Gartner魔力象限即取得了不错的位置之后,今年阿里云存储再次强势进入公共云存储魔力象限,紧跟Google成为公共云存储厂商中在利基象限中最接近领导者象限的公共云存储厂商,而领导者象限中目前只有AWS和Azure. 图2 2016年Gartner全球云存储魔力象限图 作为国内市场排名第一的云厂商的云存储

云存储能否成为数据安全灵药?几个角度全方位剖析

 [51CTO.com快译]云存储已经成为目前最为流行的数据保护手段.从个人到各类企业都在尝试利用云存储服务保护文件,同时借此实现随时随地访问能力.不过在经过数次云服务供应商数据泄露事故之后,云存储的数据安全性亦成为用户面临的切实难题. 那么,我们是否该继续依赖云存储以实现数据安全? 云安全漏洞其实与云无关 云环境下的数据泄露事故其实与云本身并无关系.各大云供应商一直对自家云存储设施加以严格保护,而泄露问题实际上出现在个别密码保护服务当中.这也是黑客们访问个别账户的惟一方式.这意味着云仍是数据存

深度剖析:全面了解“超融合架构”生态圈

今年,云计算领域最火的概念是什么?当然是"超融合". 随着VMware.Nutanix.SMARTX等领导厂商先后进入超融合领域,带火了"超融合"概念,国内云计算和存储厂商也纷纷声称自己推出了超融合架构方案.一时间,国内超融合生态圈厂商众多,颇有些混乱和看不清楚的感觉. 目前已经入局的超融合厂商可以划分为哪几类?他们的超融合方案又有哪些侧重点?几类厂商的竞合关系又是怎样的?为解答上述关键性问题,记者专访了云计算存储业界专家徐文豪,听一听他对于目前"超融合&

云存储产品趋同 高速传输是电信级云存储优势

云计算和云存储是未来IT发展的必然趋势,不仅用户需求旺盛,而且市场空间巨大.在国内,已经有很多企业开始构建基于云计算的存储服务.在这一轮竞争中,电信运营商应如何定位和发展,并根据市场需要与自身的优势推出产品,是非常值得研究的问题. 因此有必要通过系统研究,为电信级云存储产品描绘一张清晰的发展全景图,提出云存储产品发展思路与产品策略.本文将分析云存储市场现状和发展潜力与空间,对谷歌.苹果.新浪.腾讯等云存储标杆企业案例进行深入剖析:并综合市场竞争现状与用户需求,分析电信在当前竞争态势下进军云存储市

大众点评开源分布式监控平台 CAT 深度剖析

一.CAT介绍 CAT系统原型和理念来源于eBay的CAL的系统,CAT系统第一代设计者吴其敏在eBay工作长达十几年,对CAL系统有深刻的理解.CAT不仅增强了CAL系统核心模型,还添加了更丰富的报表.自2014年开源以来,CAT在携程.陆金所.猎聘网.找钢网等多家互联网公司生产环境应用. CAT是一个实时和接近全量的监控系统,它侧重于对Java应用的监控,基本接入了美团点评上海侧所有核心应用.目前在中间件(MVC.RPC.数据库.缓存等)框架中得到广泛应用,为美团点评各业务线提供系统的性能指

深度剖析俄罗斯黑客组织APT29的后门

本文讲的是深度剖析俄罗斯黑客组织APT29的后门,POSTSPY最大程度的利用了内置于Windows系统中的特性来设置隐蔽的后门,这些特性被称为"living off the land"(意思是入侵者使用系统凭据和合法的软件管理工具访问系统,感染和收集有价值的数据).POSHSPY使用WMI来存储后门代码,使其对不熟悉WMI机制的人不可见.PowerShell只有在合法系统过程能被执行,如果是恶意代码执行,能通过加强日志分析或者内存就可以发现. POSHSPY中的特点,如罕见的后门信标