浅析企业私有云中的存储架构

1 云计算

1.1 云计算

云计算(Cloud Computing)是分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。

云计算是继20世纪80年代大型计算机系统中客户端-服务器连接模式大转变之后的又一次重大的技术革命。用户不再需要了解和知道“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及到通过互联网提供动态化的、易扩展,而且经常是虚拟化的资源。在云计算模式下,用户通常可以通过浏览器或其他Web服务来访问或获得自己所需要的信息、资源。

1.2 云计算的类型

云计算按照部署方式通常分为公有云、私有云和混合云。

公有云(Public Clouds)通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过 Internet 使用,可能是免费或成本低廉的。用户通过互联网访问服务,但并不拥有云计算资源。公有云作为一个支撑平台,还能够整合上游的服务(如增值业务、广告)提供者和下游最终用户,打造新的价值链和生态系统。

私有云(Private Clouds)是为一个组织单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。该组织拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所。

私有云的部署比较适合于有众多分支机构的大型企业或政府部门。随着这些大型企业数据中心的集中化,私有云将会成为他们部署IT系统的主流模式。相比公有云,私有云有如下优势:

(1)能对数据、安全性提供有效控制;

(2)提供更高的服务质量;

(3)充分利用现有硬件资源和软件资源;

(4)不影响现有IT管理的流程。

2 私有云中的存储架构需求

为了适应云计算的海量用户数、扩展灵活、资源池化等特点,建设企业私有云的时候,后台的存储系统架构也必须具备如下技术特征:

(1)采用弹性可伸缩的扩展技术,满足PB级海量存储需求;

(2)采用虚拟化技术,将后端存储资源“虚拟化”;

(3)具备多用户安全共享存储空间的能力;

(4)可向云计算用户提供虚拟的海量存储空间,也就是精简配置;

(5)可对后端存储资源有效管理,杜绝浪费。

2.1 弹性可伸缩的扩展能力

随着企业信息化进程的不断深入,各种应用系统越来越多,各种数据也是快速增长。为了支撑前端庞大的应用,后端的存储系统也必须能够同时具备纵向扩展和横向扩展能力。纵向扩展能力的技术实现通常相对简单,但由于只是在单一的存储节点上进行容量的扩展,纵向扩展方法在存储容量过大、并发访问用户大时,存储节点的前端处理控制单元会成为I/O瓶颈。

为了解决单一存储节点有限的处理能力和高并发用户、海量存储空间之间的矛盾,现在的存储厂家都推出了具有横向扩展能力的存储设备。

2.1.1 Block存储扩展

对于采用Block方式的存储系统一般是通过多控制器方式进行扩展:存储设备通过多控制器网状架构连接,在进行磁盘容量扩展的同时,控制器也得以扩展,保障提供足够的前端带宽和数据转存能力。

2.1.2 NAS存储扩展

对于NAS存储扩展,一是横向扩展:采用独立文件分散放置方式,其特征是文件服务器节点随机将文件存放在各自的存储空间里。这种模式下,NAS系统的文件服务器可做横向扩展,并且每个NAS文件服务器后端存储只负责存放隶属于本文件服务器的文件。尽管每一个文件的读写并没有实现负载均衡,但是当文件数量达到一定规模时,将从宏观上实现整体的负载均衡。这种模式比较适合大量的小文件读写操作。NAS系统扩展的另一方式是将存储条带化,再将文件切分放置于每个文件服务节点后端的存储上,对于需要提供高清视频VOD云服务的业务,通常单个文件都是GB级别,比较适合采用此种NAS系统,因此,当客户端访问该文件时,可以每个文件服务节点均会提供读写服务。

2.2 虚拟化存储技术

虚拟化存储技术是云计算的核心技术之一,虚拟化的主要目的是将存储资源“池化”,系统管理员只关注如何满足用户提出的实际存储容量、数据安全级别、性能等级即可。对于后端存储资源的分配和使用,系统管理员只需要从这个处于云端的存储资源池里提取即可。

2.3 多用户安全共享

共享存储空间的安全从来都是存储系统中一个极其重要的问题,例如有意、无意的删除或者泄密等都是经常出现的问题。同样,云计算中由于其用户位置的不可预知性、浮动性等原因,多用户共享的安全尤为重要,因此必须要有相应的安全隔离措施。目前,比较领先的技术是利用虚拟专用阵列技术,可以将一套物理存储划分为多个虚拟存储,并分配给不同的使用客户。通过对用户和主机的安全的隔离管理,使每个用户群和应用都获得了比以前更高的存储服务级别包括性能、可用性和功能性,而所使用的设施却更少。 由于所有用户都只能访问经过授权的属于自己的虚拟存储域,这样他们就可以独立和安心地管理和监控和使用系统,而不必担心其他用户的行为或被其他用户看到。有意或无意地删除以及未经授权或意外的卷访问都可以得到避免和防止。

2.4 精简配置

对于云计算系统这样的多用户共享存储环境,一个突出的难题是如何精确地为每个用户分配适量的存储空间,即必须满足用户数据持续增长的需求,还要提高存储空间分配的准确率,避免过多分配无用空间而造成的资源浪费。

用户数据的增长具有极大的不可预测性,这就为系统管理员对存储空间的分配带来很大困难。实际情况常常是,系统管理员往往过多地预估存储空间,分配超过实际容量50%甚至更多的空间,当然也有分配空间不够用户使用的情况。由于需要在单一存储上整合多个应用,这种过多分配空间的后果是造成存储资源的大量闲置和浪费。那么具有精简配置技术存储,恰好解决上述难题。精简配置也称之为动态空间软件,只有在数据写入时才消耗物理空间,动态容量功能消除了预留但未使用的空间,并延缓了未来存储的购买需求,减少了存储的成本。

2.5 无用存储空间回收

用户往往不断地写入和删除大量的数据会让精简卷出现闲置空间,即使是大量的小规模的数据写入和删除,也会降低精简卷的效率。实际上,这种数据的逻辑删除并没有释放以前使用的空间,反而会逐渐导致更多隐性的资源浪费。

作为云计算平台,将面临大量的用户群体。因此,必须解决已分配空间中的已删除信息的空间回收问题。具备持续精简功能的存储,可以检测连续对已分配卷进行持续地联线(线速)“精简”,同时保持原有的服务水平,且不中断生产工作负载。做到绝不浪费任何存储空间。当在多用户的云计算环境中,具备持续精简的存储,可以回收大量的无用空间,从而实现资源最大化利用。

3 企业私有云中的存储系统整合

云计算的发展是一种趋势,构建企业的私有云,如何在当今和以后使企业内部应用平台满足云计算的架构,或者在以后的发展中使应用系统架构逐步的趋于、满足云计算概念,一种快捷的方式是马上进入“云时代”,对目前的存储系统进行重新规划,使目前的存储满足统一存储、动态扩展等。

3.1 目前的存储现状

目前在一个典型的企业中,信息技术融入生产、办公、科研一般都有多年的经验和历史,由于受当时技术、思想和硬件条件的限制,在信息平台构建时几乎无一例外地采用了分散存储方式,各种不用应用的数据存放于一个或多个地点,各自拥有不同的存储子系统,并通过不同平台上的应用软件进行访问,企业中的每个应用软件专有地访问它自己的存储设备。分散存储系统具备如下特点:

(1)各个存储系统相对独立,资源无法共享;

(2)从存储底层来看,这些分散存储系统的功能重叠、用途相同。例如,A应用对应的在线存储为A存储;而B应用对应的在线存储又是另外一套B存储。A、B两套存储都作为在线数据块的存储系统,仅仅是服务的对象不同而已。

在企业私有云的建设中,如何整合以上特点的分散存储系统,使之更好地为今后的云计算平台服务。对此目前有许多存储厂商都提供了比较成熟的解决方案和产品,例如SAN虚拟化、存储虚拟化等都可以实现存储资源整合。存储整合的目的是指把企业或者云计算服务商的存储系统进行一定的“处理”, 重新组合成一个单独的物理存储系统或一个存储系统池中,整合后的存储系统相比分散的存储系统具有如下优势:

(1)存储资源统一到一个资源池里,方便系统资源调度,最大化提高系统资源利用率;

(2)统一的管理平台,简化系统管理工作;

(3)集中的存储平台让灾难备份更加简单;

(4)结合诸如虚拟存储分区等技术,让同一存储平台安全可靠地为企业的不同应用提供服务,进而为实现云计算提供技术保障。

3.2 存储整合

3.2.1 SAN虚拟化整合技术

SAN虚拟化是基于存储网络的虚拟化解决方案,可以把存储池集中管理,并在不同的服务器环境中创建异构存储资源虚拟卷,也可在异构存储之间实现快照、容灾等高级功能。

利用SAN虚拟化的存储整合技术资源池、统一,可以把企业已有的多个不同型号,甚至不同品牌的存储系统在SAN的层面整合起来,整合后的存储系统,具有同一的存储的卷管理平台。从而可以实现简化管理、提高资源利用的目的。这种存储整合目前只适合在线数据块级别的光纤通道存储的整合,而对iSCSI架构的存储,目前还没有好的解决方案。当然也存在一定的缺陷:

(1)SAN虚拟化技术仅工作在SAN层面,存放在磁盘阵列上的数据必须完全依赖于SAN虚拟化设备,如果SAN虚拟化设备发生故障,存放在磁盘阵列上的数据将无法被服务器所访问,造成数据的假性丢失。

(2)目前这类产品各自都存有较明显的技术缺陷,如 SVC控制器无法实现负载均衡, 而V-Plex只能对后端存储资源池做RAID1。在企业用户中,SAN虚拟化的用户更是非常稀少,缺乏足够的市场用户使用体验证明。

(3)SAN虚拟化技术,对后端存储的兼容支持比较有限。不少较老型号的磁盘阵列、小品牌盘阵,一般无法兼容而达到整合的目的。

3.2.2 外部存储整合技术

存储整合另一种技术是外部存储整合,一般是某些厂商的高端磁盘阵列兼备的功能,实现方法是利用软件整合其他外部异构磁盘存储设备,可将分散的磁盘存储设备虚拟化成一个存储池。基本原理是把其他异构阵列的LUN通过软件映射到本机磁盘阵列内部,对主机而言,所有的LUN均被视为本机磁盘阵列的一部分。用户无需关心这些LUN到底存在于本机磁盘阵列上还是其他磁盘阵列上。如External Storage XP就是这样的整合方式。企业自己可以利用外部存储整合功能,把现有的各种异构磁盘阵列整合到一起。和SAN虚拟化技术不同,外部存储整合技术,对最终存放数据的磁盘阵列上的卷,并不进行元数据修改,因此,即便是高端磁盘阵列故障,后端外挂的磁盘阵列上的数据仍然可以被服务器访问,没有SAN虚拟化设备那样的假性数据丢失现象。 这种技术明显的不足之处在于:前端的磁盘阵列对后端磁盘阵列的兼容支持比较有限。不少较老型号的磁盘阵列等无法兼容。由于是通过高端磁盘阵列将存储资源池里的LUN转呈给服务器,依赖于软件的实现,当后端存储过多时,前端高端盘阵有限的缓存、端口数、RAID处理芯片其实也会成为系统性能的瓶颈。

3.2.3 纯软件异构存储方案

用纯软件方法是解决存储整合的另一种解决方案,在服务器端安装软件,用软件方式实现卷复制功能,以达到与底层存储无关的目的。由于存储整合的重要特征就是具备将存储资源池化、统一供给、统一管理。这类解决方案只能着力于解决异构存储的容灾,并不是真正意义上的存储整合,如Storage Foundation等。4 企业私有云建设中的存储架构规划建议

存储系统是企业私有云建设中的一个重要组成部分,在企业私有云建设中,需要对已有的存储设备进行调整,并规划以后企业新的存储的架构,一般建议新的存储架构必须具备以下几个特征。

4.1 具有统一存储的功能

一般企业现有的系统架构都同时具有Block 和File两种不同的数据类型,所以,提供统一存储的设备,同时需要支持Block 和 File两种类型,便于企业日后系统灵活的规划和调整。

4.2 具备云存储的特征

既然要作为核心的统一存储池,就需要具备足够的扩展能力,这种扩展除了传统意义上的纵向容量扩展以外,还需要考虑横向扩展,以便在扩展容量的同时扩充性能,而且,分散和组合都是自由实现,不受设备本身的限制和影响。

4.3 具备虚拟化的特性

未来的存储架构必须要去适应虚拟化,也就是存储需要具备虚拟化的特性,这样才可以和虚拟化系统更好地配合,这也可以为存储扩展、规划留下充裕的空间。

5 结束语

尽管云计算早就已经被提了出来,但是直到近年,云计算才在国内的许多行业得以重视。在不经意间,我们所处的世界已经发生了天翻地覆的革新,云计算业务生活中随处可见、触手可及。在建设数字化城市、数字化油田时,企业也应该与时俱进,考虑和规划企业的云计算环境。

本文作者:佚名

来源:51CTO

时间: 2024-10-23 18:58:49

浅析企业私有云中的存储架构的相关文章

[文档]企业私有云及其系统架构

企业私有云及其系统架构 --邓侃 temp_12040515033358.pdf

存储架构是向私有云迁移的必要因素

存储的整合 由于现有http://www.aliyun.com/zixun/aggregation/11820.html">存储架构和异构存储环境的整合限制,企业无法直接就安装私有云.一些存储供应商比如EMC.NetApp和IBM引入了存储虚拟化工具(EMCVPLEX.NetApp V-Series.IBM XIV等),把不同供应商的存储整合到一起,为服务器提供一个共有的存储池. 说到为私有云选择存储整合工具,要注意一些存储特征对于存储厂商的特别要求,这些要在存储整合之后才能使用.能在不同

存储架构让私有云成为必然

随着云计算的广泛运用,很多企业纷纷跟随潮流将IT架构迁移到私有云.而存储架构正位于私有云的核心,它也是CIO和云计算架构师在构架私有云时需要考虑的关键要素. 存储的整合 企业由于现有存储架构和异构存储环境的整合限制,不能直接安装私有云.例如EMC.NetApp和IBM此类存储供应商为了给服务器提供一个共有的存储池,引入了EMC VPLEX.NetApp V-Series.IBM XIV等存储虚拟化工具,把不同供应商的存储整合到了一起. 在为私有云选择存储整合工具时,要注意一些存储厂商对于存储特征

企业私有云转型:延伸向基础架构与管理层

驱使企业向私有云转型的两个主要因素为:第一个是业务驱动.根据IDC的数据显示,业务部门对采用云服务的迫切程度比IT部门要高出5倍.第二个则是IT行业正面临基础设施散乱.控制与整合的挑战.与此同时也有数据表明,大多数企业70%的IT投入花费在运营和已有的业务系统维护中,只有30%左右的开支花在了创新上. 由惠普提出的融合基础架构被认为是企业私有云的先锋军,可以有效解决业务和IT间的支持不平衡的现象.中国惠普有限公司技术服务事业部基础架构解决方案中国区总经理周培勇在某次接受专访时表示:"融合基础架构

存储架构 企业如何实施混合云部署?

随着服务器虚拟化的广泛应用,云计算技术已经成为效用计算的下一个发展方向,在云计算时代,我们能够像使用电力资源一样消费计算资源,并且按需付费.云存储的应用则脱胎于Amazon的S3服务(Simple Storage Service),而且很快就被其他服务运营商所效仿.然而,较差的性能以及出于对安全问题的担忧始终笼罩着云存储,让它的众多优点黯然失色,同时也阻碍了这项技术进入主流的企业级市场.云存储最早的一批用户主要是创业型公司.开发团队以及消费类用户.不过,"云存储"自身也在不断发展,并且

企业如何编制“私有”云中花

如果有人问,IT产业近年来最热门的词汇是什么?相信"云计算"将会是很多人心底的答案.而事实也正是如此.与许多类似的产业技术革命一样,云计算正在推动不同产业改变原有的模式. 2006年,谷歌首次提出了云计算的概念,然而,仅用了五年时间,云计算便完成了从概念到实践的角色转变.为争夺潜在可观的市场份额,在谷歌.Amazon.IBM.SUN等一批千亿级企业率先推出特色产品之后,苹果.惠普.英特尔.雅虎.戴尔等巨头企业也纷纷进军云计算市场.而在市场方面,来自市场研究机构Forrester Res

企业私有云平台安全技术 数据存储安全策略

云计算是一种以互联网为基础的新兴计算机应用技术,它融合了分布式计算.效用计算.并行计算.网格计算.网络存储.虚拟化等传统计算机和网络技术,形成了一整套新的标准和模式,"云计算"概念也迅速运用到生产环境中,各种"云计算"的应服务范围正日渐扩大,影响力也无可估量.通俗的讲,云计算就是让你把所有数据处理任务都交给网络来进行,由企业级数据中心负责处理客户电脑上的数据任务,这样就可以通过一个数据中心向使用多种不同设备的用户提供数据服务,从而为个人用户节省硬件资源.本文介绍的云

当冷存储遇到大数据:在私有云中运行低成本分析

冷存储是不经常访问但却是必需数据的术语.人们需要了解冷存储如何工作,以及如何帮助大数据. 已经有一些企业侧重于分层存储算法,其基于数据需要被访问的频率,将数据路由到最合适的存储介质,特别注意第一层,数据需要快速和频繁的最快速的访问存储恢复器. 但是在"数据副本"中,高达85%的企业数据驻留在很少被访问的存储介质中,同时也存在一个迫在眉睫的危机,即如何以最低成本优化管理和维护这些数据,以及适当的数据存储,检索,安全和访问策略. 这种不常访问但仍然必要的数据的名称是"冷存储&qu

微软IT如何规划和构建的企业私有云基础设施

How Microsoft IT Planned and Architected an Enterprise Private Cloud Infrastructure 微软IT如何规划和构建的企业私有云基础设施 Reference: http://www.microsoft.com/en-us/download/details.aspx?id=30183 Published:July 2012 发布时间:2012年7月 Learn howMicrosoft IT envisioned an en