如何自建云存储平台?

云存储盛行的今天,IT专家需要用比以往更加宽广的视野来审视他们的数据中心,云计算,云存储,大数据,这些概念和技术不但要关注,而且如何融入到自己的当前环境中是迫在眉睫的事情了。以往在组织内部独来独往的IT部门(比如网络和存储)现在由于融合的缘故必须更加紧密地互相配合。这促使IT部门之间提高合作程度,从而给IT组织带来了莫大的好处,推动性能上的提升和成本上的削减。

传统存储架构的特点

专门用于存储的SAN(存储局域网)不仅成本昂贵而且功能单一。随着网络速度的提升,现在融合面临着更大的机遇,因为现在数据中心骨干网络可以容纳存储,从而创建单一的数据传输管道。通过iSCSI(互联网小型计算机系统接口)或以太网光纤通道(FCoE),内部IP网络上的存储云在灵活性上正越来越具有优势。传统的网络连接将支持IP传输(比如iSCSI,NFS(网络文件系统)或CIFS(通用互联网文件系统),以及FCoE)的现有要求。

FCoE旨在促使SAN扩展到整个企业数据中心。许多数据中心使用针对TCP/IP网络的以太网和针对存储局域网(SAN)的光纤通道。通过FCoE,光纤通道变成运行在以太网上的另一个网络协议,与传统的IP传输一起传输。FCoE可以在网络协议堆栈的以太网上直接运行,而iSCSI则是运行在TCP和IP之上。因此,FCoE不可在IP层上传输,而且也将不可以在路由的IP网络上工作。

新的数据中心网络传输将包含多个协议,包括传统的TCP/IP和现在FCoE,同时继续支持传统的向外的网络传输以便进行讯息传递和数据通信。

那些对存储预算比较敏感的组织有必要了解云。

自建云存储

什么是云存储?对云最好的描述是一个公共事业单位。云包含各种幕后技术--可扩展的和冗余的服务器、控制器、存储和软件--这些技术都是现成的,将它们结合在一起可以创建一个存储"云"。(ownCloud 打造自己的专属私有云) 

在这种模式下,我们可以从地理上分散的多个站点中获得各种磁盘池,将它们整合到存储的逻辑分区,将这些分区复制到(本地地或异地地)其他地方,并通过在网络上可访问的全局命名空间将整合后的存储安全地提供给每个小组。

这些磁盘池有各种特点和功能,比如重复数据删除、自动精简配置、高可扩展性、数据保护以及简单的管理。这些整合后的功能,加上网络的高带宽,使云存储得以在如今变成现实。

虽然数据量继续快速增长,但是许多组织的IT预算还是持平或在下滑,从而给许多公司带来巨大的挑战。它们必须一方面管理好数据增长,另一方面还要保持成本下滑。云存储可以在这个方面发挥作用。

在公司的存储环境内部,大约有60%到80%的数据可以列为旧数据或过期数据,这些数据应该放在第3到6层的存储上。

1层——企业级,高速

2层——企业级,中速

3层——SAN/NAS(网络附加存储)(模块化,高速)

4层——SAN/NAS(模块化,低速)

5层——CAS(内容感知存储)(归档合规)

6层——VTL(虚拟磁带库)

在大多数数据中心内部,有许多非结构化数据和归档数据,这类数据非常适合于云存储。 内部云与外部云

云存储大致可以分为两类:内部云和外部云。外部云是第三方服务提供商所提供的云服务。内部云的许多特性和外部云相同,但是属于组织本身并且在内部运行。

在选择内部云和外部云的时候,网络延迟性必须得到考虑。外部云依赖于互联网,因此只适合于4-6层数据存储。内部云可以用于3层以下存储,视本地内部网带宽而定。

对于大多数IT组织来说,可扩展性是内部云存储的一个关键指标。虽然支持者声称云非常易于扩展,且拥有近乎无限制的增长潜力,但是我们还是需要仔细考虑云的容错性、动态扩展和容量增长规划。云并不是应对数据增长的万灵药,它是一个需要有效管理的商品。

此外,在实施云存储之前,我们也需要定义和理解关键的性能指标。通常,我们假设非活跃数据不需要像高层存储那样高的性能。但是,同时进行的其他项目,比如电子发现,可能需要这类数据有相当的性能。

响应时间和终端用户体验也必须协调。我们必须有服务水平协议(SLA)或运行水平协议(OLA),

且云解决方案必须可以满足这些要求。由于数据是通过内部网访问的,在进行云存储实施前,必须对当前网络能力和容量有一个清醒的认识,判断好可能的延迟性。对于特定的内部云解决方案,必须在整个解决方案中加入最佳实践指导。

在考虑新技术的时候,我们需要评估管理上的简单性和实施上的方便性。我们经常需要依赖已经有工作任务的现有人员来部署实施新的技术。

我们需要判断好需要什么样的角色和职责,这些职责如何分配,以及需要多少时间。这些问题并不是单纯的技术问题,而是一个有助于提高现有人员整体效率的思考过程。

判断云存储是否适合于某个组织是需要仔细考虑的。首先,我们需要分析数据中心数据,判断有多少数据可以迁移到云。然后,IT人员必须判断这些数据可以以怎样的方式迁移到云。一些数据的迁移很简单,就像复制过程一样;另一些数据的迁移可能需要某种形式的数据迁移器,以保证这些数据迁移后能够符合实现设定好的政策。

另一个重要的考虑因素是经济上的可行性。外部云可能适合于那些关心现有存储成本并厌恶风险的公司,而那些对外部云的成本和风险比较敏感的公司可能会选择部署内部云。

由于外部云实际上是存储即服务,因此其成本取决于存储数据量和合约时间。另一方面,内部云在总拥有成本上的考虑和大多数其他内部存储方式一样。

云存储的功能与职能

云存储可以仅包含存储,也可以既包含存储也包含计算。随着服务器和存储都可以被虚拟化并通过不同的协议来连接,云计算的世界有越来越多的功能和职能。就更加纯粹的云存储而言,存储通常是连接到以太网并通过HTTP(S)、CIFS/NFS、FCIP(基于IP协议的光纤通道)/iSCSI或FCoE协议来访问。

存储功能(比如自动精简配置、自动数据重分层、重复数据删除、自动复制)和本地/地理上分散的解决方案正变得越来越流行。

云的潜在问题包括:

非常大的文件

大量非常小的文件

以一定频率访问的文件扩展连接协议可以支持的对象

外部云服务提供商有时会关闭存储的预读高速缓存引擎,导致终端用户的数据读取变慢

好处与顾虑

云存储的好处包括IT职能部门(比如存储和网络部门)之间更好的协作,以及对存储池的自服务网络访问。这种存储应该要有政策推动型的自动化功能,包括快速和方便的存储配置和重新分配,以及自动化的复制功能。用户对外部云的顾虑主要包括数据可用性、订购条款、缺少地点控制、缺少对数据的物理访问、为支持解决方案而增加的额外的组件、外部带宽要求、压缩和/或加密数据的需求,以及潜在的合规风险。

用户对内部云的顾虑通常更少,但是用户还是要注意软硬件上的安全性、管理、升级和更新,以及前期资本投入。大多数这些顾虑已经存在于日常的内部存储管理中,并不是新问题。

云存储使用户可以快速增加存储,减少存储管理员的负担。数据在平台内部的迁移或平台到平台以及站点到站点的迁移可以自动化,从而进一步减少存储管理员的负担。

在某个层(比如针对备份或归档)配置云存储的用户可能会在现有工具内设定政策,然后再将数据迁移到云存储。对那些有季节性需求并将云看做是快速增加容量的工具的用户而言,以及对那些需要在测试环境中创建数据副本的用户而言,他们的政策是在不需要继续存储的时候释放临时数据存储空间,并根据需要进行备份或归档。

最后,对于那些管理自己的云存储的用户,有一些解决方案可以创建自动政策。这些例子可能包括对存储的配置或重分配。

云服务的五步实施包括:

集中化IT管理,以便获得规模经济性,更好地理解成本并控制IT服务。

根据主要的业务要求,标准化云服务。如果试图针对每个应用程序而支持专门的解决方案的话,会给资源带来负担。一致性是提高质量、减少支持成本和风险的关键。标准化是合并和自动化成功的前提条件。

虚拟化并合并物理架构。虚拟化和合并可以提高利用率和存储效率。虚拟化可以在每个架构堆栈层

级上实施:在应用程序和数据获得移动性后,用户可以获得统一的存储、统一的光纤架构、虚拟服务器、更高的资产利用率和简化的资产生命周期管理。整合的资源可以带来更快的市场反应速度和更低的整体成本。

自动化环境:一旦云服务和流程得到标准化,架构得到虚拟化,那么就可以实施自动化。自动化工具可以提高抽象程度,为整体的工作流管理提供简化的和高效的控制。

授权给自服务和API(应用程序编程接口)。将控制权转移给组织/用户是云服务模式部署成功的明证。通过应用程序整合和自服务功能,应用程序管理员和所有者可以灵活地随需扩展,根据组织的要求选择不同的性能水平和数据保护水平,并从应用程序错误中自动恢复。这很大程度上减少了管理员的负担。云服务的扩展需要组织内部各部门间相互配合才能顺利度过各个阶段。

原文发布时间为:2016年7月25日

时间: 2024-09-11 22:45:21

如何自建云存储平台?的相关文章

分布式海量云存储平台的技术创新及应用

随着大数据.云计算.物联网等新技术的发展,电信.互联网.政企等行业应用日新月异,数据呈爆炸式增长并成为战略性资源.据思科VNI预测,全球数据量每年约30%的速度递增,2020年达到惊人的40ZB. 传统存储面临的挑战 面对海量数据,传统存储面临诸多挑战,主要体现在以下方面. 成本高:传统存储硬件使用专有设备,通用性差,设备投资加上后期维护.升级扩容的成本非常高. 性能低:单节点I/O性能瓶颈无法逾越,容量和性能都不易扩展,难以支撑海量数据的高并发低时延场景. 可扩展性差:无法实现快速部署和弹性扩

十大云存储平台技巧

自2016年起,我们已经分析了十大重要存储平台,从实施混合云到制定数据迁移策略. 对于云存储来说,渡过了一个漫长而奇怪的一年.曾经认为的存储时尚刚刚出现在各地,同时云迁移策略比以往更加广泛了.对于一些组织来说,是否实现云存储平台已经不再是问题,而是什么时候实施才是重点. 灾难恢复服务(DRaaS)和物联网(IoT)云存储等技术越来越受到关注. 公有云与私有云的辩论肆虐的同时,却促使混合云吸引更多的用户. 从选择供应商到提高性能,混合云仍然是2016年最热门话题之一. 下面,根据流行度,列举了20

微软为SkyDrive云存储平台新增付费服务

CNET科技资讯网 4月24日 国际报道:微软为其SkyDrive云存储平台增添了付费存储服务.新注册用户将获得7GB免费存储空间.截至4月22日前注册的用户将仍然可以获得25GB免费存储空间.付费存储空间的价格为:每年10美元可获得20GB存储空间,50GB的价格为25美元,100GB为50美元.微软今天还发布了预览版SkyDrive for Windows客户端,这是微软整合SkyDrive和Live Mesh的第一个步骤.预览版SkyDrive for Windows客户端支持Window

2016年云存储平台十大建议

我们汇编了2016年十大最重要的云存储建议,具体包括了从实施混合云到选择数据迁移策略. 在云存储领域,2016年是一个漫长且奇怪的年度.曾经被视为存储时尚的服务已变得随处可见,而云迁移战略也比以往得到了更多的应用.对于一些企业来说,他们需要做出决定的不再是是否需要实施一个云存储平台,而是何时实施之. 在云的近期发展中,诸如灾难恢复即服务(DRaaS)和针对物联网(IoT)之类的云存储已成为了即将过去的一年中最吸引人的技术进步.关于公共云和私有云的争论日趋激烈,但是混合云再一次牵动了大部分读者的好

直接面向终端用户 硕讯推出私有云存储平台

传统工作模式所面临的三大问题:数据存取同步的困难.大文件共享分享需要及数据管理需求.硕讯联盟将为您提供企业私有云的最佳一体化平台,使企业成员无论在任何时间.任何地点,都可从任何装置安全地存取.分享和同步单位内档案. 公有云存储涉及数据安全.存取安全.虚拟环境安全与资产安全监控等问题,就服务的使用者而言,可能会遭遇下列安全威胁:(一) 储存于公有云的数据会不会不见?(二) 公有云数据会不会被窃?(三) 公有云资料有没有加密?(四) 从个人的计算机存取公有云服务是否安全?(五) 公有云上是否有我的使

【Box.net】云存储平台Box.net融资5000万美元

北京时间9月29日消息,云存储平台Box.net最近融资5000万美元,CRM巨头http://www.aliyun.com/zixun/aggregation/14536.html">Salesforce.com参与了投资. 过去的一些投资人也参投.Box.net过去的投资人包括Andreessen Horowitz,德丰杰(Draper Fisher Jurvetson).Emergence资本合伙人.Meritech资本合伙人.Scale风险合伙人.U.S.风险合伙人.到目前为止,B

网易邮箱推智能云存储平台

网易邮箱近日全面升级文件中心,新文件中心对邮箱存储功能产品进行整合,并智能判断文件类型,方便用户查找.网易邮箱还进行了大扩容,最多可支持3G单个文件上传.10G文件存储和发送,用户可以一次发5000张照片.网易邮箱新文件中心将为用户打造一个全新的邮箱文件存储平台. 存储扩容至10G  提高用户娱乐分享体验 网易邮箱产品经理介绍,此次新文件中心上线,对存储容量进行大扩容.新文件中心分"永久存储区"和"临时存储区"两大区域.在永久存储区域,即原来的网盘产品, 所有用户此

Joukuu:帮你方便管理多个云存储平台上的文件

你是否有不同的文件备份在Google Doc.Dropbox和Box.net等多个云存储平台,并希望寻找一种方式来管理他们?Jouuku就是这样一款帮你管理多个云存储平台上文件的服务,只需一个集中的平台(Joukuu网站),即可在多个云存储账户间编辑和共享文件.也就是说,您可以在同一个窗口中同时使用和管理办公用的Google Docs账号和你私人的Dropbox/Box.net帐号. 在Joukuu加入云存储平台账号后,Joukuu会自动抓取和索引文件,你可以通过Joukuu访问所有的文件和文件

F5 Networks推出集成云存储平台虚拟设备

F5 Networks宣布扩展其ARX文件虚拟化设备产品线,包括集成云存储平台以及引入iControl文件服务器API.F5还预览了一款名为ARX Virtual Edition (VE)的虚拟设备,预计在下一季度交付. F5的ARX Cloud Extender (CE)软件将ARX设备的自动存储分层功能扩展到云存储中,提供一个额外的存储层并释放了现有NAS文件器中的容量.保存在云(公共云或者私有云)的文件表现为保存在本地数据中心的形式.ARX CE目前已经通过了第三方基于目标云存储平台的认证