在NAS上基础构建云存储系统的两种解决方案

 

 对于一个成功的、具有极高可扩展性的NAS存储系统来说,要想架构云存储系统解决方案需要什么?

云存储的概念始于Amazon提供的一项服务(S3),同时还伴随着其云计算产品(EC2)。在Amazon的S3的服务背后,它还管理着多个商品硬件设备,并捆绑着相应的软件,用于创建一个存储池。新兴的网络公司已经接受了这种产品,并提出了云存储这个术语及其相应的概念。

云存储是一种架构,而不是一种服务。你是否拥有或租赁了这种架构是一个次要问题。从根本上来看,通过添加标准硬件和共享标准网络(公共互联网或私有的企业内部网)的访问,云存储很容易扩展云容量和性能。事实证明,管理数百台服务器,使得其感觉上去就像是一个单一的、大型的存储池设备是一项相当具有挑战性的工作。早期的供应商(如Amazon)承担了这一重任,并通过在线出租的形式来赢利。其它供应商(如Google)雇用了大量的工程师在其防火墙内部来实施这种管理,并且定制存储节点以在其上运行应用程序。由于摩尔定律(Moore’s Law)压低了磁盘和CPU的商品价格,云存储渐渐成为了数据中心中一项具有高度突破性的技术。

这十年来,集群NAS系统已经出现了好转。本文综述了构建一个云存储或大规模可扩展的NAS系统的各种不同架构方法,对于那些寻求构建私有云存储以满足其消费的企业IT管理者或是对于那些寻求构建公共云存储产品从而以服务的形式来提供存储的服务提供商来说,这些方法与他们息息相关。架构方法分为两类:一种是通过服务来架构;另一种是通过软件或硬件设备来架构。

传统的系统利用紧耦合对称架构,这种架构的设计旨在解决HPC(高性能计算、超级运算)问题,现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构,集中元数据和控制操作,这种架构并不非常适合高性能HPC,但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下:

紧耦合对称(TCS)架构:

构建TCS系统是为了解决单一文件性能所面临的挑战,这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储,因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品,很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效,几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进,需要一定程度的技术经验才能安装和使用。

松弛耦合非对称(LCA)架构:

LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作,而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处,允许进行新层次的扩展:

● 存储节点可以将重点放在提供读写服务的要求上,而不需要来自网络节点的确认信息。

● 节点可以利用不同的商品硬件CPU和存储配置,而且仍然在云存储中发挥作用。

● 用户可以通过利用硬件性能或虚拟化实例来调整云存储。

● 消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要,如光纤通道或infiniband,从而进一步降低成本。

● 异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储,同时还能提供永久的数据可用性。

● 拥有集中元数据意味着,存储节点可以旋转地进行深层次应用程序归档,而且在控制节点上,元数据经常都是可用的。

云存储选择

虽然在可扩展的NAS平台上有很多选择,但是通常来说,他们表现为一种服务、一种硬件设备或一种软件解决方案,每一种选择都有它们自身的优势和劣势:

● 服务模式:最普遍的情况下, 当你考虑云存储的时候,你就会想到其所提供的服务产品。这种模式很容易开始,其可扩展性几乎是瞬间的。根据定义,你拥有一份异地数据的备份。然而,带宽是有限的,因此要考虑你的恢复模型。你必须要满足你网络之外的数据的需求。

● HW模式:这种部署位于防火墙背后,并且其提供的吞吐量要比公共的内部网络好。购买整合的硬件存储解决方案非常方便,而且,如果厂商在安装/管理上做的好的话,其往往伴随有机架和堆栈模型。但是,这样你就会放弃某些摩尔定律的优势,因为你会受到硬件设备的限制。

● SW模式:SW模式具有HW模式所具有的优势。另外,它还具有HW所没有的价格竞争优势。然而,其安装/管理过程序要谨慎关注,因为安装某些SW的确非常困难,或者可能需要其他条件来限制人们选择HW,而选择SW。

以下表中概括总结了不同厂商的选择: 

 

带*的表示产品还未上市,所以具体细节还不清楚

伴随着大规模的数字化数据时代的到来,在这个时代里,企业使用YouTube来分发培训录像,在这里,没有必要将这些数字“资料”放的到处都是。像以上这些企业正致力于内容的创建和分布,基因组研究、医学影像等的要求会更加严格准确。LCS架构的云存储非常适合这种类型的工作负载,而且还提供了巨大的成本、性能和管理优势。

 作者:布丁

来源:51CTO

时间: 2024-07-31 01:59:48

在NAS上基础构建云存储系统的两种解决方案的相关文章

win7登录不上qq显示登录超时的两种解决方法

  win7登录不上qq显示登录超时的两种解决方法 1.检查下防火墙设置.方法是进入控制面板,点击系统和安全,点击Windows防火墙; 2.双击开后点击左侧的打开或关闭防火墙这一项; 3.在家庭和工作网络位置和公共网络位置选项下全部选择关闭防火墙.设置完后运行QQ试试. 解决方法二: 1.打开QQ登录界面,点击右上角的设置; 2.点开后进入高级设置,这里可以看到可进行网络类型设置和登录服务器类型设置; 3.先进行网络类型设置,如果以前使用代理,现在选不使用代理,如果不使用代理也不行,选择使用浏

JavaBean实现多文件上传的两种方法

上传 摘要:本文介绍了JavaBean实现多个文件上传的两种方法,分别是使用http协议和ftp协议实现.首先讲述了http协议传送多个文件的基本格式和实现上传的详细过程,之后简单介绍了使用ftpclient 类实现了ftp方式的上传,最后对这两种方法进行了比较. 关键字:JavaBean .http .ftp .ftpclient JavaBean是一种基于Java的软件组件.JSP对于在Web 应用中集成JavaBean组件提供了完善的支持.这种支持不仅能缩短开发时间(可以直接利用经测试和可

图片上传的两种形式

很早以前的单应用项目上传图片都是很简单的,上传图片后在controller层设置路径并且保存到服务器的某个路径下就行了,数据库中存储路径地址,最后在tomcat中设置一个虚拟路径就行了,很多年以前大多都是这么做的. 然而随着技术的更新迭代,SOA,微服务,这样的做法是会被淘汰的,如果是分布式部署或者集群环境,上传文件到各自的服务器上去,是无法做到统一的,那么就要用到图片服务器,之前我有提过fastdfs,这个是一个非常好用的文件服务器,这里不多说了.各个项目上传的图片都统一由文件服务器来管理,那

在Synology NAS上建立CrashPlan无监管云备份

在家里我使用一个Synology 1511+NAS(Network Attached Storage网络附加存储)服务来存储我所有的家庭数字文件.我喜欢使用Windows Home Server,而Synology几乎给了我所拥有的所有功能.我可以添加一个任何大小的驱动盘而获得更多的http://www.aliyun.com/zixun/aggregation/17325.html">存储空间,我可以安装插件软件包以获得更多的功能.更重要的是,所有东西都有多备份.即使我将整个驱动盘都丢失了

云上快速构建小程序创业

摘要:本文的整理自2017云栖大会-成都峰会上阿里云产品专家祝犁的分享讲义,云服务器有多种规格和地域等类型可供选择,测试环境,低配多套:预发环境,尽量模拟生产环境,方便独立压测:生产环境.能做到避免单点构建HA架构,负载均衡,多可用区. 在2017云栖大会-成都峰会上,阿里云产品专家祝犁做了题为<云上快速构建小程序创业>的分享.如何选择一款4C8G云服务器?阿里云提供云服务器的多种系列规格,磁盘种类和地域类型.构建阿里云云服务器第一步是选择地域,创建VPC,两个子网,公网访问和内网访问,划分服

云存储系统监控服务分析

      监控在我们的日常生活和生产随处可见,交通.银行.超市.商场.学校.工厂等等,在刑侦.勘探.科研.安保等各种领域,发挥了越来越大的作用,已经成为人们不可或缺的安全屏障和有力工具.      监控对于计算机网络同样有着巨大的意义和价值,从服务器性能到应用服务状态,从硬件资源到网络流量,为业务应用.系统运维等提供准确的运行状态信息,及时发现.暴露问题.       OSS作为智能分布式云存储系统,对外提供海量.安全和高可靠的存储服务,使得用户无需关心系统资源和服务器运维问题,将更多的精力专

基于成熟基础架构云平台的服务云建设

[硅谷网12月12日文]据<硅谷>杂志2012年第18期刊文,在分析当前云服务建设产业发展机遇的基础上,分析了传统云平台服务建设存在的主要问题.最后,基于成熟的基础架构云(IAAS)平台产品完成基础设施的整合和基础架构云的基础环境部署,验证基础架构云的相关技术能力.成熟度.安全性.可扩展性符合云计算云平台的要求. 0引言 近年来,全球云计算产业蓬勃发展.我国云计算产业兴起于20世纪90年代,云计算产业已经形成了竞争性的产业发展态势,以展览展示.网络游戏.远程教育.数字电视内容制作以及各种影视动

金山推出安全云存储系统 凸显安全易用性

日前,金山软件推出安全云存储系统,该系统主要针对企业私有云.据了解,目前已经在使用金山安全云存储系统的主要为大型企业,金山方面也在考虑面向中小企业推广自己的安全云存储系统. 金山安全云存储系统十分注重安全问题,其会对上传文件进行碎片分割.加密存储,并具有多重安全验证及权限管理,上传文件还可以根据用户的选择进行安全扫描. 金山安全云存储系统凸显易用性,十分适合企业内部的协同办公.金山方面也在考虑与相关IT产品厂商接触,进行整合合作. 金山软件自1988年成立以来,一直秉承技术立业的理念,先后推出了

一种新型云存储系统的设计与实现

一种新型云存储系统的设计与实现 董昌坤,侯宾,吕玉琴 随着数据的暴增,传统的存储方式已经不再满足海量数据的存储需求,云存储技术的飞速发展,使得云存储成为了一种新型的数据存储解决方案.本文分析了国内外云存储技术的发展现状,提出了一个具有高可扩展性.高可靠性.兼容不同存储设备的分布式云存储解决方案.本文从分布式文件系统HDFS 出发,设计实现文件读写模块,在兼容Amazon S3协议的基础上,设计实现核心业务逻辑处理模块.面向前端请求的代理模块.安全认证模块.基于数据库的元数据存储模块.前端页面显示