新型可扩展的数据保护方式——擦除编码

一、概述

  在之前存储系统中,一般都采用RAID技术来对数据进行保护,一旦阵列中某块硬盘损坏,可通过RAID技术所形成的镜像来对丢失数据进行恢复。但随着海量数据问题的出现,RAID越来越难发挥其作用。如采用2TB的硬盘作为存储介质,某块硬盘故障,使用镜像对其进行恢复,大概需要4个小时,而这还是将恢复作为最高优先级的情况下才能实现的数据恢复时间。但在实际情况中是不可能出现的,一般都是将RAID作为较低优先级的,在计算资源闲置的情况下在后台进行的,那么在这种情况下,RAID重建的时间就会不断延长,数据恢复长达1-2周也就不算奇怪了。如果在数据重建过程之中,又发生硬盘故障的话,那么也就意味着数据将永久丢失。因为RAID 5最多能允许阵列中一块硬盘损坏,RAID 6允许两块硬盘同时故障,但在海量数据时代,多块硬盘同时损坏并非不可能,企业重要资源之一的数据该如何保证其安全呢?

  英特尔在IDF大会期间公布了新的可扩展的数据保护方式——擦除编码。其工作原理是将存储系统接收到的大块数据进行切割并编码,之后再对切割后的数据进行再次切割并编码,重复这一操作直到数据切割到满意的数据块大小为止,这样使得数据块分散成多个数据块,再进行冗余校验,将不重复的数据块和编码写入存储系统之中。其与传统的RAID数据保护如下图所示:

      

  擦除编码将数据保护架构由RAID 5/6扩展至RAID k,k等于在不造成数据丢失的情况下,可以介绍的故障数量。对于RAID 5来说,k=1;对于RAID 6来说,k=2;对于擦除编码来说,k=n,如在16块硬盘组成的阵列之中,采用擦除编码机制的话,即使6块硬盘同时故障,其也可对丢失数据进行恢复.

  由此可以看出,擦除编码目前主要针对的大数据块,英特尔也将其应用在其所推荐的大型对象存储系统之中,经过实际测试,其结果显示,与传统的RAID相比,擦除编码在各个方面都具有无可比拟的优势,具体结果如下图所示:

    

    擦除编码的应用还不仅与此,在关于擦除编码的技术课程之中,相关的技术工程师还介绍了擦除编码灵活应用于多个数据中心的情况,具体如下图所示:

      

 

  通常而言,传统的擦除编码技术对性能的影响,特别是IOPS和延迟的影响还是比较大的,因此目前适用的场景主要局限在归档、云存储等冷数据方面;

 

时间: 2024-09-20 19:31:46

新型可扩展的数据保护方式——擦除编码的相关文章

【ASP.NET Web API教程】5.2 发送HTML表单数据:URL编码的表单数据

原文:[ASP.NET Web API教程]5.2 发送HTML表单数据:URL编码的表单数据 注:本文是[ASP.NET Web API系列教程]的一部分,如果您是第一次看本系列教程,请先看前面的内容. 5.2 Sending HTML Form Data 5.2 发送HTML表单数据 本文引自:http://www.asp.net/web-api/overview/working-with-http/sending-html-form-data,-part-1 By Mike Wasson|

盘点数据保护方式看中小企业信息安全

当前关键数据(绝大多数以电子文档的形式进行存储)成为现代企业的核心竞争力.作为快速成长的中小企业,保护数据则成为其利于不败之地的要素之一.人为.应用程序.病毒和黑客攻击都有可能造成数据丢失或损坏,我们必需保护数据不被这些因素破坏,以及当系统损坏或其它灾害造成数据损坏或丢失时就必需恢复数据. 要保护数据的完整性和可用性,我们就必需使用相应的http://www.aliyun.com/zixun/aggregation/13681.html">数据保护解决方案来应对.下面向大家简单介绍前4适合

数据同步-mysql集群扩展一个数据节点问题

问题描述 mysql集群扩展一个数据节点问题 现在搭建成功集群是一个管理节点,2个数据节点和2个sql节点,在这基础上增加一个数据节点,即 3个数据节点 ,实现3个数据节点数据同步,我是修改了config.ini配置文件里的NoOfReplicas = 2改为了NoOfReplicas = 3 ,并加了一个数据节点配置信息在配置文件中,重新启动集群显示数据节点没有全部连接上,应该是NoOfReplicas = 3这个有问题,或config.ini还有什么需要修改的地方,请大神指教,在此十分感谢

国产新型数据库:大数据时代的创新机遇

文章讲的是国产新型数据库:大数据时代的创新机遇,三十年数据库的发展和形成的以Oracle.IBM.Microsoft等为代表的强势垄断格局,使得传统国产数据库不仅生不逢时,加上技术上采取跟随战略.在事务处理领域顽强拼杀,虽然产品不断进步.市场应用也不断取得单点突破,但大多处于非核心应用.尽管政府给予了持续的大力支持,但在垄断壁垒和开源软件左右夹击下,除了政策性市场之外,很难取得规模化突破,尚未形成企业发展良性循环和政府支持的双赢局面. 大数据时代的到来,使得传统数据库在处理百TB以上.特别是PB

《大规模Java平台虚拟化与调优》——第2章 现代化可扩展的数据平台

第2章 现代化可扩展的数据平台 尽管你可以采用多种方式现代化应用的架构,但是核心的趋势如下:-围绕Spring框架所提供的灵活性现代化应用架构:-现代化数据. 就数据现代化来说,现在有很多不同的方式.本章主要关注的是日渐流行的一种趋势,那就是使用可水平扩展的内存数据库来提升扩展性和响应时间.在这里使用VMware vFabric SQLFire来阐述内存数据管理系统的功能,你可以使用它来构建可水平扩展且支持硬盘持久化的数据fabric.讨论这种工作负载也会帮助Java平台的工程师强化其Java平

JSP对浏览器发送来的数据进行重新编码的两种方式_JSP编程

最近做的DRP项目中,使用JSP操作中文时,经常会出现一些乱码问题.这些问题导致中文无法输入,或者是无法正常显示.这里就涉及到了字符集的设置.字符集的编码方式. 在JSP/Servlet中主要有以下几个地方可以设置编码,pageEncoding="GB18030",contentType="text/html;charset=GB18030".request.setCharacterEncoding("GB18030")和 response.se

APC助力中铁三局建灵活扩展新一代数据中心

北京/中国,12月16日,2011年--全球领先的关键电源与制冷服务商施耐德电气旗下的APC(以下简称APC)日前宣布InfraStruxure英飞集成系统进驻中铁三局集团有限公司(简称中铁三局),为其新建的数据中心提供标准化数据中心整体解决方案.该方案可满足中铁三局对于新数据中心稳定可靠.一体化及智能化的需求,同时其可扩展的模块化系统则为中铁三局未来业务的高速发展提供了强有力的技术支撑.全套InfraStruxure英飞集成系统在该数据中心的典型应用,为处于信息化建设过程中.正在寻求高可用.灵

C# TextBox 扩展方法数据验证详细说明_C#教程

      查看公司项目代码时,存在这样一个问题:winform界面上有很多信息填写,提交后台服务器更新,但数据的合法验证及值的转换却不太敢恭维,一堆的if判断和转换,便想着是否能扩展个方法出来,琢磨出个思路,记录下来与大家共同探讨,有不对的地方还请大家指正.       设计思路: 1. 由于大部分从TextBox控件中获取数据值,可以扩展个泛型方法出来,直接根据转换后的数据类型获得值,类似这样, var value = this.txtSample.GetValue<int>(); 2.

《android中对camera数据的简单编码处理》

原文:http://m-ittrue.iteye.com/blog/758410 http://chenweihuacwh.iteye.com/blog/571223   大多数图像处理软件在处理时是需要RGB格式的图像,而默认的视频流是压缩的YUV格式,Android下是YUV420SP,这个格式,虽然可以在程序中修改,但是修改后好像不起作用,也就是说只能得到编码为YUV420SP的视频流,这就需要把YUV420SP的视频流转换成RGB格式的图像,用于图像识别       从log中可以看到P