云存储架构是怎样的?

经常看到人们在谈论云存储,但是没看过实际的图,人们很难想象到底云存储是什么模样,下面就是一个云存储的简易架构图。

橘色的存储节点(storage node)负责存放文件,蓝色的控制节点(control node)则是作为文件索引,并负责监控存储节点间容量及负载的均衡,这2个部分合起来便组成一个云存储。存储节点与控制节点都是单纯的服务器,只是存储节点的硬盘多一些,存储节点服务器不需要具备 RAID 的功能,只要能安装 Linux 即可,控制节点为了保护数据,需要有简单的 RAID level 01的功能。每个存储节点与控制节点至少有2片网卡(千兆、万兆卡都可以,有些也支持 infiniband),一片网卡 internal 负责内部存储节点与控制节点的沟通、数据迁移,一片 external 负责对外应用端的数据读写,一片千兆卡,读可以达到100MB,写可以达到70MB,如果你觉得对外一片网卡不够,也可以多装几片。

上面灰色的方块(NFS、HTTP、FTP、WebDav)是应用端,左上角的灰色方块(mgmt console)是一台PC,负责云存储中存储节点的管理。对应用端看来,云存储只是个文件系统,而且一般来说支持标准的协议,例如NFS、HTTP、FTP、WebDav等等,所以很容易把旧有的系统与云存储结合,应用端不需要作什么改变。

云存储不是要取代现有的盘阵,而是为了应付高速成长的数据量与带宽而产生的新形态存储系统,因此云存储在设计时通常会考虑以下三点:

1、容量、带宽的扩容是否简便

扩容是不能停机,会自动将新的存储节点容量纳入原来的存储池,不需要做繁复的设定。

2、带宽是否线形增长

使用云存储的客户,很多是考虑未来带宽的增长,因此云存储产品设计的好坏会产生很大的差异,有些十几个节点便达到饱和,这样对未来带宽的扩容就有不利的影响,这一点要事先弄清楚,否则等到发现不符合需求时,已经买了几百TB,后悔就来不及了。

3、管理是否容易

不说Google有五万台存储服务器,即使国内也有很多客户有超过500台存储的,若不使用云存储来统一管理,管理500台存储是一个巨大的工作,一不小心就可能导致某些应用的崩溃,因此云存储的应用是一个必然的趋势,当用户把应用迁移到云存储,他管理的就是一台存储,而不是500台甚至五万台存储。管理一台存储不容易出错,分别管理五万台要不出错就很难了。

上面介绍的是一个纯软件的云存储解决方案,有的产品是硬件的解决方案,他们把橘色的存储节点和蓝色的控制节点,放在一台设备上,这样做的缺点是成本比较高,客户也不能够按照自己的需求,任意选择适合自己规格的硬件,例如读写性能、网卡、硬盘容量等等,因此我个人观点觉得软件的解决方案会成为最后的赢家,因为以云存储使用者的角度来看,他们对成本的要求很高、也不希望放弃他们原有的硬件投入,这些都是硬件的解决方案无法满足的。

时间: 2024-10-26 21:17:07

云存储架构是怎样的?的相关文章

一种基于FPGA云存储架构的关键技术研究

一种基于FPGA云存储架构的关键技术研究 云南大学  陈成 目前常见的云存储服务有:亚马逊的Simple Storage Service(S3).Nutanix的存储服务.搜狐企业网盘.百度云盘等等,而这些并不提供小型开发板所需的云服务.本系统则是以TCP/IP做为基本通信手段,并且加入自定义的数据通信协议,通过整合分布式存储的调度思想,来实现基于FPGA的云存储架构.这样不仅使FPGA开发板能够实现云存储的功能,同时也为基于FPGA的云计算打下了坚实的基础. 本系统利用集群以及分布式的思想,将

一个弹性云存储架构驾驭万千云需求

对于一个大型企业.中小企业,或者个人用户而言,一致认为不能承受的事情是什么?答案会有很多种,但一种答案会得到绝大多数人的认同,它就是数据丢失.在信息的重要性越来越关系到企业的生存时,数据保护自然更加受到重视.于是,各种容灾系统.备份.归档的方案纷纷登台,试图让大家的信息安全固若金汤.但在实施过程中,无论是实施成本还是技术,都让众多的企业知难而退.现在,众多的企业,尤其是个人用户,在数据保护方面都处于"真空"状态,一些企业和个人用户通过移动硬盘和光盘的方式来保存数据,但无法做到及时的备份

百度ARM云存储架构

百度ARM云存储架构 赖春波  百度存储架构师 --百度云存储简介 --云存储服务的挑战 --百度云存储架构的演进 --百度ARM云存储架构 --未来工作 百度ARM云存储架构

云存储结构模型及云存储架构的比较研究

云存储结构模型及云存储架构的比较研究 王哈琴 云存储的概念是一个新的概念,它所利用的技术包括集群计算.分布式文件系统以及网格计算技术等. 这些异构的存储系统通过彼此的协调.配合,构成一个虚拟的.巨大的存储系统,作为一个整体共同对外提供数据存储和业务访问功能.文章阐述了云存储结构模型,并对几种典型云存储的架构进行了比较研究. 云存储结构模型及云存储架构的比较研究

云存储架构在组建时需要主要的基本标准

云存储架构是云存储组建的一个重要环节.尤其是对以后的服务十分重要.一个好的云存储架构能为以后的服务水平起到一个很好的提升作用.下面就让我们了解下云存储架构的具体标准. 不管云存储架构是公共的还是私有的,成功的关键是,尽可能有效地创建一个能交付每一种云存储架构服务的合适的基础架构.对于私有云存储架构,你可能需要支持广泛的应用,所以你的目标是创建一个能灵活按需分配资源给每一个应用的基础架构. 显然,在计算端,服务器虚拟化为云存储架构服务提供了一个合适的基础架构,因为它允许计算资源被有效地划分,快速地

内部云存储架构在企业中的作用

云存储的地位开始稳固,逐渐走出推广期和早期应用期,进入真正的市场.我们预计云存储结构的应用将开始从外部供应商使用的时期向IT组织想要使用的时期转变. 云存储这个词确实使用得过于频繁了,好像存储厂商发布的所有新产品都跟云有关. 虽然那些产品被厂商称作云存储,但是那并不表示它们就是云存储产品. 云存储是一个含义非常广泛的术语,它通常指的是一个可调性很强.可以配置为内部或外部使用.通常会使用某种形式的群集或网格存储设备的存储系统.它或许会有很多功能,或许功能也不是很多. 这些功能的重要性可能会随着用户

存储架构 企业如何实施混合云部署?

随着服务器虚拟化的广泛应用,云计算技术已经成为效用计算的下一个发展方向,在云计算时代,我们能够像使用电力资源一样消费计算资源,并且按需付费.云存储的应用则脱胎于Amazon的S3服务(Simple Storage Service),而且很快就被其他服务运营商所效仿.然而,较差的性能以及出于对安全问题的担忧始终笼罩着云存储,让它的众多优点黯然失色,同时也阻碍了这项技术进入主流的企业级市场.云存储最早的一批用户主要是创业型公司.开发团队以及消费类用户.不过,"云存储"自身也在不断发展,并且

浅析云存储技术的发展现状和创新方向

起初,云存储作为在存储领域兴起的一种新技术,将复杂的存储架构和组织管理封装在系统内部,而对上层系统提供统一.灵活.安全的"云存储服务",由此将存储建设从系统建设上升到服务建设,对于存储的关注也达到空前的高度.然而随着需求的不断加深,以及对"服务"定义的多元化,云存储技术也如落入平静湖面的石子,激荡出一层又一层的波澜. 一.云存储的现状与创新 在安防行业中,存储的存在形式较为多样,传统如DVR/NVR.SAN.NAS等.各种存储方案的存在均满足于安防行业特定场景变化的

数据中心存储架构

存储系统是数据中心IT环境的核心基础架构,是数据中心数据访问的最终承载体.存储在云计算.虚拟化.大数据等相关技术进入后已经发生了巨大的改变,块存储.文件存储.对象存储支撑起多种数据类型的读取;集中式存储已经不再是数据中心的主流存储架构,海量数据的存储访问,需要扩展性.伸缩性极强的分布式存储架构来实现. 在新的IT发展过程中,数据中心建设已经进入云计算时代,企业IT存储环境已经不能简单的从一般性业务运营需求来构建云计算的数据中心存储环境.云计算数据中心的建设不是为了满足某一个业务系统的特殊目标,是