在线存储数据压缩技术的缺陷

之前我们已经介绍过主存储重复数据删除技术的益处,以及主要供应商产品对比。但是任何技术都是双刃剑,用户在实施之前还是应该综合考虑,周密部署,取其长避其短。本文主要介绍了主存储数据精 简的几个缺点。

本文作者是Wikibon分析师论坛的联合创始人兼高级存储分析师David Vellante.

曾有一场关于存储优化及更好地利用存储容量的经典讨论。根据Wikibon用户反馈信息,我们看到众多存储供应商已成功营销了其离线/备份软件的重复数据删除技术(这一技术可将备份数据量显著减少,减少比率为5-15:1)。

主流在线存储精简技术

用于备份的重复数据删除技术(de-duplication)与通过算法来实际更改数据量的压缩技术(采用算法创建一个计算副产品,并写入少量字节)不同。有了重复数据删除技术,数据未发生变化,而是约2-N 倍的复本数据被删除,指示器被插入数据的一个“主实例”。单实例即可被视作重复数据删除。

传统的重复数据删除技术通常不适合在线软件或主存储软件,因为进行重复数据删除所需的算法不可避免的会加长响应时间,这样就导致了费用增加。举例说明,流行的重复数据删除方案比如那些来自 Data Domain、ProtecTier (Diligent/IBM)、Falconstor和EMC/Avamar的解决方案并未被用于减少在 线存储器的容量。

有三种主要方式实现在线存储器优化、减少容量需求并提高整个存储效率。尽管业内通常使用如重复 数据删除(例如针对NetApp A-SIS)和单实例这样的术语,通常,Wikibon所提到的在线数据压缩或主存 储压缩是从一个较宽泛的角度来说的。这些数据删除技术指的是如下类型的解决方案:

NetApp A-SIS和EMC Celerra或采用“data de-duplication light”或采用嵌入存储阵列的单实例技术;

主机管理的离线数据精简方案,例如Ocarina Networks;

来自Storwize的在线数据压缩设备;

与某些备份数据精简方案不同,这三种方式采用无损数据压缩算法,这意味着从数理角度看,可经常 进行字节重组。

这几种方法都有自身的优点和缺点。最显著的优点是降低了存储成本。然而,每种解决方案都在网络 上增加了新的技术层级,导致系统的复杂性和风险增大。

1.基于阵列的数据精简技术

基于阵列的数据精简技术,例如,在数据被写入时,A-SIS在线运行,减少主存储容量。WAFL (NetApp的任意位置写入文件布局技术)的重复数据删除功能可实现写入时对4K数据块复本的识别(创 建4K数据块的32-bit弱数字信号,接着一个字节一个字节地进行对比以保证不出现hash冲突),并将其 放进元数据的一个签名文件。这一复本识别任务与快照技术相似;在控制器资源充足的情况下,是在后 台进行的。其默认每24小时进行一次,每次更改的数据量可达20%.

A-SIS解决方案有三个主要缺点,包括:

采用A-SIS,重复数据删除技术仅能在单一flex-volume(而不是传统数据卷宗)内实施,这意味着候 选数据块必须是位于同一数据卷宗中的可对比数据块。重复数据删除是基于数据量为4K的固定数据块, 而非IBM/Diligent任意数据量的数据块均可实施这一技术。这就限制了重复数据删除技术的潜力。

当把A-SIS和其他多种依赖软件的快照技术一起采用时,限制较多。快照在重复数据删除之前进行,在这种情况下,重复数据删除的候选数据块就被限定,以保持数据的完整性。这就制约了空间节约的潜 力。尤其是,NetApp的重复数据删除技术无法实现空间有效的快照。

上述重复数据删除的运行费用意味着A-SIS将不再是高利用率(可实现利益最大化)的控制器。这使 得进行元数据精简的费用增加了近6%.

为充分利用功能优势,用户被锁定采用NetApp存储器。

IT经理应该注意到A-SIS是ONTAP(公司存储操作系统)的NetApp Nearline组件不收费标准。

时间: 2024-09-24 08:18:32

在线存储数据压缩技术的缺陷的相关文章

数据存储指南之存储备份技术

备份|数据 数据存储备份技术一般包含硬件技术及软件技术等,硬件技术主要是磁带机技术,软件技术主要是通用和专用备份软件技术等. 磁带机技术: 无论是硬盘技术,还是光盘技术,都不适合用来进行数据存储备份,只有磁带机技术才真正适合数据存储备份领域.事实上,磁带机技术长期以来一直是首选的唯一的数据存储备份技术,因为磁带介质不仅能提供高容量.高可靠性以及可管理性,而且价格比光盘.磁盘媒体便宜很多. 作为一种备份设备,磁带机技术也在不断发展.当前市场上的磁带机,按其记录方式来分,可归纳为二大类:一类是数据流

SQL Server 2012列存储索引技术

title: SQL Server 2012列存储索引技术 author: 风移 摘要 MS SQL Server 2012首次引入了列存储索引(Columnstore Index)来加速数据分析(OLAP)和数据仓库(Data Warehouse)场景的查询,它主要是通过将数据按列压缩存储的方式来减少查询对磁盘IOPS开销和CPU开销,最终达到提升查询效率,降低响应时间的目的.当然,列存储索引也不是一把万能的钥匙,在SQL Server 2012版本中它有诸多非常严苛限制条件. 这篇文章会从以

云存储:技术、平台还是服务?

谈到云存储,第一个想到的一定是Amazon,也就是当初那个网上卖图书的亚马逊,.COM的先驱.不知道从什么时候起,亚马逊也开始卖起了存储服务,又成为了云存储服务的先驱. 云存储就在我们身边 亚马逊提供一种称为弹性计算云(Amazon EC2,Amazon Elastic Compute Cloud)的服务.借助Amazon EC2,用户可创建操作系统.应用程序和配置设置等机器映像;然后上载至亚马逊简单存储服务(Amazon S3,Amazon Simple Storage Service)并注册

云存储主要技术分析

云存储是在云计算概念上延伸和发展出来的一个新概念,是指通过集群应用.网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统. 与云计算系统相比,云存储可以认为是配置了大容量存储空间的一个云计算系统.云存储系统具有如下特点:数据安全

惠普在线存储与SAN经济解决方案

整合资源 池化存储 在线存储和SAN经济方案在更具可扩展性的存储环境中简化存储基础架构.增加存储效率 随着业务数据库的持续增长,需要增加资源来管理扩充的数据资产.同时,传统的将数据存放于服务器的方式存在局限性:当到达能力顶点是,应用性能和用户生产效率开始下降.增加的附加存储需要服务器离线工作,这就进一步降低了用户生产率. 现在有一个简单和更高效的方法:采用网络存储整合增加存储的利用,打破存储孤岛,形成一个单一的存储池.用户将进一步增强应用的可用性,利用规模经济轻松增加或减少存储能力. 当企业存储

在线存储的增长将赶超过传统存储

据http://www.aliyun.com/zixun/aggregation/8934.html">市场调研机构IDC最新发布关于存储即服务(SaaS)的报告显示,由于IT部门无法获得更多开支或者技术人员等原因,未来几年在线存储服务的增长将超过传统存储架构的增长速度. IDC预测说,SaaS容量将从2007年的174PB增长到2012年超过2.1EB,而这一增长率将超过传统存储技术的收入增长.而且,企业将继续购买磁盘和磁带设备.IDC预计,硬盘驱动器的年增长率将超过50%. 但是IDC

数字宇宙膨胀 在线存储服务市场展望

近年来,随着SaaS市场的迅猛发展,直接带动了在线存储备份市场的爆炸式增长,存储巨头专家曾经在其博客上表示,在线存储服务市场的起点既不是"GB"也不是"TB",而是更上一个数量级的"PB",而IDC在<数字宇宙膨胀:到2010年全球信息增长预测>的报告中也指出,到2010年,信息量将增加到988EB,也就是988,000,000,000GB. 无论是SaaS提供商还是SaaS的用户,数据的安全性都是双方关注的焦点.数据安全既是SaaS

浅析云存储的技术特点和系统架构

不同类型的云存储运营商对外提供的服务不同.根据云存储提供的服务类型和面向的用户不同,云存储服务可以分为个人级应用和企业级应用. 一.个人级云存储应用 1. 网络磁盘 相信很多人都使用过腾讯.MSN等很多大型网站所推出"网络磁盘"服务.网络磁盘是个在线存储服务,使用者可通过WEB访问方式来上传和下载文件,实现个人重要数据的存储和络化备份.高级的网络磁盘可以提供web页面和客户端软件等两种访问方式,本人在2002就用过Xdisk这个网络磁盘软件系统,它可以通过客户端软件在本地创建一个名盘符

云存储关键技术

引言 云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云.用户通过电脑.笔记本.手机等方式接人数据中心,按自己的需求进行运算.目前,对于云计算仍没有普遍一致的定义.结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性.高扩展性.用户友好性.良好的管理性. 1云存储架构图 橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监