云存储两大架构揭秘

本文讲的是云存储两大架构揭秘,【IT168 资讯】对于一个成功的、具有极高可扩展性的NAS存储系统来说,要想架构云存储系统解决方案需要什么? 

  云存储的概念始于Amazon提供的一项服务(S3),同时还伴随着其云计算产品(EC2)。在Amazon的S3的服务背后,它还管理着多个商品硬件设备,并捆绑着相应的软件,用于创建一个存储池。新兴的网络公司已经接受了这种产品,并提出了云存储这个术语及其相应的概念。

  云存储是一种架构,而不是一种服务。你是否拥有或租赁了这种架构是一个次要问题。从根本上来看,通过添加标准硬件和共享标准网络(公共互联网或私有的企业内部网)的访问,云存储很容易扩展云容量和性能。事实证明,管理数百台服务器,使得其感觉上去就像是一个单一的、大型的存储池设备是一项相当具有挑战性的工作。早期的供应商(如Amazon)承担了这一重任,并通过在线出租的形式来赢利。其它供应商(如Google)雇用了大量的工程师在其防火墙内部来实施这种管理,并且定制存储节点以在其上运行应用程序。由于摩尔定律(Moore’s Law)压低了磁盘和CPU的商品价格,云存储渐渐成为了数据中心中一项具有高度突破性的技术。

  这十年来,集群NAS系统已经出现了好转。本文综述了构建一个云存储或大规模可扩展的NAS系统的各种不同架构方法,对于那些寻求构建私有云存储以满足其消费的企业IT管理者或是对于那些寻求构建公共云存储产品从而以服务的形式来提供存储的服务提供商来说,这些方法与他们息息相关。架构方法分为两类:一种是通过服务来架构;另一种是通过软件或硬件设备来架构。

  传统的系统利用紧耦合对称架构,这种架构的设计旨在解决HPC(高性能计算、超级运算)问题,现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构,集中元数据和控制操作,这种架构并不非常适合高性能HPC,但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下:

  紧耦合对称(TCS)架构:

  构建TCS系统是为了解决单一文件性能所面临的挑战,这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储,因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品,很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效,几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进,需要一定程度的技术经验才能安装和使用。

  松弛耦合非对称(LCA)架构:

  LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作,而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处,允许进行新层次的扩展:

  ● 存储节点可以将重点放在提供读写服务的要求上,而不需要来自网络节点的确认信息。

  ● 节点可以利用不同的商品硬件CPU和存储配置,而且仍然在云存储中发挥作用。

  ● 用户可以通过利用硬件性能或虚拟化实例来调整云存储。

  ● 消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要,如光纤通道或infiniband,从而进一步降低成本。

  ● 异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储,同时还能提供永久的数据可用性。

  ● 拥有集中元数据意味着,存储节点可以旋转地进行深层次应用程序归档,而且在控制节点上,元数据经常都是可用的。

  云存储选择

  虽然在可扩展的NAS平台上有很多选择,但是通常来说,他们表现为一种服务、一种硬件设备或一种软件解决方案,每一种选择都有它们自身的优势和劣势:

  ● 服务模式:最普遍的情况下, 当你考虑云存储的时候,你就会想到其所提供的服务产品。这种模式很容易开始,其可扩展性几乎是瞬间的。根据定义,你拥有一份异地数据的备份。然而,带宽是有限的,因此要考虑你的恢复模型。你必须要满足你网络之外的数据的需求。

  ● HW模式:这种部署位于防火墙背后,并且其提供的吞吐量要比公共的内部网络好。购买整合的硬件存储解决方案非常方便,而且,如果厂商在安装/管理上做的好的话,其往往伴随有机架和堆栈模型。但是,这样你就会放弃某些摩尔定律的优势,因为你会受到硬件设备的限制。

  ● SW模式:SW模式具有HW模式所具有的优势。另外,它还具有HW所没有的价格竞争优势。然而,其安装/管理过程序要谨慎关注,因为安装某些SW的确非常困难,或者可能需要其他条件来限制人们选择HW,而选择SW。

  伴随着大规模的数字化数据时代的到来,在这个时代里,企业使用YouTube来分发培训录像,在这里,没有必要将这些数字“资料”放的到处都是。像以上这些企业正致力于内容的创建和分布,基因组研究、医学影像等的要求会更加严格准确。LCS架构的云存储非常适合这种类型的工作负载,而且还提供了巨大的成本、性能和管理优势。

原文发布时间为:2009-09-04 

本文作者:IT168.com

本文来自合作伙伴IT168,了解相关信息可以关注IT168。

原文标题:云存储两大架构揭秘

时间: 2024-10-23 23:40:03

云存储两大架构揭秘的相关文章

解读:架构云存储的TCS和LCA两大架构

本文讲的是解读:架构云存储的TCS和LCA两大架构,[IT168 资讯]对于一个成功的.具有极高可扩展性的NAS存储系统来说,要想架构云存储系统解决方案需要什么? 云存储的概念始于Amazon提供的一项服务,同时还伴随着其云计算产品.在Amazon的S3的服务背后,它还管理着多个商品硬件设备,并捆绑着相应的软件,用于创建一个存储池.新兴的网络公司已经接受了这种产品,并提出了云存储这个术语及其相应的概念. 云存储是一种架构,而不是一种服务.你是否拥有或租赁了这种架构是一个次要问题.从根本上来看,通

云存储十大无人能及的好处

每当我与客户见面时,他们问我的第一句话总是:用云存储有什么好处?我们知道对于管理存储的人员,他们经常应付一些问题 意外的硬件损坏-很多种原因的硬件损坏会导致服务的停止,例如硬盘.主板.电源.网卡等等,虽然针对这些弱点,管理人员可以找到替代方案,例如建立一个全冗余的环境(电源.网络.盘阵等等),但是这样的成本太高而且工作非常繁复. 云存储透过将文件复制并且存在不同的服务器,解决了这个潜在的硬件损坏的难题.云存储知道文件存放的位置,在硬件发生损坏时,系统会将自动将读写指令导向存放在另一台存储服务器上

个人云存储市场潜力大 或将取代本地存储业务

摘要: 云计算技术的成熟.移动互联网的发展.智能手机的普及带来了个人云存储业务的繁荣.根据艾瑞咨询统计,预计2013年中国个人云存储用户规模将达到2.23亿,网民渗透率达到36.7%.Ga 云计算技术的成熟.移动互联网的发展.智能手机的普及带来了个人云存储业务的繁荣.根据艾瑞咨询统计,预计2013年中国个人云存储用户规模将达到2.23亿,网民渗透率达到36.7%.Gartner发布的报告也显示,预计到2016年将有36%的数字内容存储至云端,而在2011年这一比例仅为7%.个人云存储的巨大市场潜

深信服发布子品牌——智安全、云IT ,两大业务并驾齐驱

[51CTO.com原创稿件] 11月18日,在深信服子品牌发布会上,深信服正式发布了企业级安全和云计算两大子品牌--智安全.云IT.在企业母品牌下,深信服两大子品牌是深信服的战略转型和品牌升级,未来将承载深信服在安全和云计算领域的价值主张,也将代表深信服在企业级安全和企业级云计算领域成为第一的决心. 发布会上,深信服CEO何朝曦介绍到:"深信服发展至今已经有16年历史,在这16年里,深信服从一个只有3个人的小公司发展到了现在近3000人,从一个年销售额只有二十万的公司发展到了现在年销售额超过2

阿里云参与两大国家工程实验室获批,人工智能继续深入工业制造

免费开通大数据服务:https://www.aliyun.com/product/odps 近日,国家发改委公布大数据国家工程实验室名单,由阿里云参与的"工业大数据应用技术国家工程实验室"和"大数据系统软件国家工程实验室"均获批复认定,分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室. 前者由航天云网旗下北京航天数据股份有限公司和阿里云联合共建.后者由清华大学和北京理工大学牵头,阿里云支撑实验室研发全生命周期大数据系统软件及其开源创新平台体系.   国

商业云存储潜力大 Google+将失败

据国外媒体报道,科技博客<商业内幕>专访了Box.net创始人兼首席执行官亚伦 列维(Aaron Levie).这位26岁的首席执行官与众不同,相对于Foursquare这样的消费软件,他对商业软件更感兴趣. Box.net创始人兼首席执行官亚伦 列维 2005年,列维创办了文档在线共享和协作网站Box.net.三年后,他注意到用户群分化成企业用户和消费者用户.列维意识到他必须做出选择,最终他选择了商业用户.最终,列维的选择取得了成功,Box.net从一个被小部分和个人使用的服务转变为直接为企

云存储市场大爆发 隐私安全如何保障?

在当今数据大爆炸的局势下,数据的存储和携带问题随着云技术的出现迎刃而解,云存储成为当下信息存储携带的便捷方式,只要有网络,无需再带硬盘等存储工具,登上云端就可随时随地查看数据.截止到今年3月,国内个人云用户数已超过3.51亿人,其中百度云盘和腾讯微盘用户数均已破亿,分别达1.34亿人和1.24亿人. 在云存数应用大爆发的时代直线,不免有人担心自己上传的数据是否也会被窥视,上传的数据是否安全,个人的隐私能得到保障吗? 云上个人隐私如何保证 云存储是一种新兴信息存储方案,用户可以通过移动终端,例如智

云存储市场大变革

3月17日消息,谷歌的云存储服务Google Drive在上周迎来了大降价,这会对整个市场造成怎样的影响呢?其他竞争者是否会有所回应?科技网站CNET日前就对此进行了分析: 如果有人还怀疑云存储业务是一个高风险的游戏,谷歌在上周的行动消除了所有的疑虑.这家搜索巨头大幅降低了旗下云存储服务的价格,这让消费者感到非常意外.现在,Google Drive免费提供的存储空间达到了5GB,而100GB每月仅需1.99美元(从4.99美元下调),1TB的价格降至每月9.99美元(从49.99美元下调). 这

阿里云参与两大国家工程实验室获批 全面推进我国工业大数据能力建设

近日,国家发改委公布大数据国家工程实验室名单,由阿里云参与的"工业大数据应用技术国家工程实验室"和"大数据系统软件国家工程实验室"均获批复认定,分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室.   前者由航天云网旗下北京航天数据股份有限公司和阿里云联合共建.后者由清华大学和北京理工大学牵头,阿里云支撑实验室研发全生命周期大数据系统软件及其开源创新平台体系.   国家工程实验室承担着国家科技创新的重要任务,此次共有19个国家工程实验室获批,其中大数据领