全闪数据中心的数据缩减攻略

全闪存数据中心的概念之所以很吸引人,是因为它可以消除耗时的系统调优。它使数据中心得以支持最大的虚拟机密度,它的存储响应时间让大多数应用程序提供者都感到满意。

随着闪存每GB价格的普遍下降,数据缩减方法,例如重复数据删除,压缩和精简配置等,也使全闪存数据中心从概念转变为现实。很少有厂商能够同时提供解决数据缩减难题的所有三种方案,所以重要的是知道哪个方法(如果有的话)对你的组织最为适用。

当考虑采用数据缩减技术使闪存更加实惠时,你必须考虑到可能的性能影响。在几近零响应时间的存储介质上添加任何层都会对性能产生影响,但关键问题是“应用程序或用户会注意到这层的影响吗?”你总是可以通过增加处理能力和内存来减轻性能影响的。

选择你所适用的数据缩减方法

对于绝大多数数据中心,任何数据缩减方法所带来的相关开销几乎都不被觉察。这些系统能够充分利用那些大多数数据中心无法利用的性能,所以花费一些数据缩减的处理周期来降低闪存系统的成本显然是值得的。

自动精简配置(Thin provisioning)是一种圆满的解决方案,几乎适用于每一个环境。动态增加一个卷的容量当然会产生开销,但它是很小的。这种技术作用很大,因为其他形式的数据缩减方法都不能对其进行优化。它将新增容量硬分配给指定的LUN,并且不再被其它所有LUN共享。

重复数据删除技术(Dedupe)能够跨文件消除数据的冗余部分。重复数据删除的回报是显而易见的,尤其是在虚拟环境中,不同的客户操作系统之间的数据其实存在着大量的共性。

然而,重复数据删除可能显著增加对性能的需求。它会创造大量的元数据,用于跟踪那些冗余数据中的独特数据和指针。快速传递重复数据删除所需要的元数据对于整个系统的性能是个关键。尽管闪存会带来一定帮助,在系统扩展时继续跟踪冗余还是需要更多的CPU能力,进而导致存储系统采购成本的提高。

压缩(Compression)也能够降低对存储容量的占用,它从根本上消除文件内的冗余,而不是文件之间的冗余信息。尽管压缩不可能提供像重复数据删除所提供的那么高的缩减比率,例如9:1,它提供的是一个更加一致的处理结果,因为它作用于所有文件,并且无需创建跨文件的冗余信息。这种文件级的高效率使压缩特别适用于数据库和其他单文件信息。

同步(线内)需求

数据缩减对于全闪存和混合存储系统能够带来两方面明显的好处:

有助于减少总容量需求。许多全闪存阵列厂商声称它们产品的价格点低于$3/GB,有的甚至宣称低于$1/GB。实际结果的不同取决于具体数据缩减实现的效率,并且每个数据中心对于这些技术需要达到的效率水平也多少有一些各自的特殊要求。

数据缩减。如果能够做到同步(线内),将有助于延长闪存模块的寿命。闪存模块在写操作上的局限性已广为人知,它们都有预期的最大写入次数。

在数据被写入闪存之前执行这三个数据缩减方法,这被称为同步(线内)数据效率(inline data efficiency)。例如,如果你使用了所有三种方法,你能达到5:1的缩减比率 - 一个合理的结果。 5:1的数据缩减意味着写操作减少为原先的20%,这将显著延长闪存模块的使用寿命。

那么哪种方法最好呢?这取决于使用场景 - 大多数数据中心正在为各种不同的工作负载部署并使用闪存。曾几何时,每种数据缩减方法对于某特定类型的工作负载最为有效。而对于混合工作负载,最有效的系统应该是具有上述三种功能,并且能够同步进行数据缩减的。目前,能够同时提供三种功能的系统还很少见。

对于具体应用场景,答案会有所不同。例如,在数据库环境,经过压缩的系统就已经足够了。如果该数据库有非常苛刻的性能要求,那么不经过数据缩减操作或者关闭数据缩减可能是必要的。对于虚拟环境,使用具有重复数据删除功能的系统可能更加适合。

数据缩减的替代方案:本机容量

数据缩减的一种替代方案是本机容量。在过去,不带数据缩减功能的通用闪存阵列系统价格过于昂贵。但现在,像TLC和3D NAND等新兴的高密度闪存技术,使得全闪存阵列得以突破$1/GB甚至更低。这些新技术虽然在耐用性方面问题更大一些,但它们可以与更可靠的SLC联合使用,充当对写操作更加敏感的TLC层的减震器。

这种方法的优点是,数据中心能够确切知道每GB的成本,无需再操心数据缩减变量以及使用它所产生的性能开销。

毫无疑问,数据缩减技术使全闪存数据中心的概念更加现实。数据缩减技术的每个支柱——重复数据删除,压缩和自动精简配置,都具有价值。然而,当全闪存阵列可以集三大功能于一身,并且在数据写入闪存模块之前能够完成同步(线内)数据缩减操作时,这些方法才是最有效的。

作者:George Crump 翻译:Julian

来源:51CTO

时间: 2024-07-31 07:06:50

全闪数据中心的数据缩减攻略的相关文章

《激战2》全职业50级以下特性点解锁攻略汇总

下面是关于<激战2>的全职业50级以下特性点解锁攻略汇总,大家都知道,特性点的加成对于每个玩家其实是十分至关重要的,而每个职业特性点收集处其实都差不多,所以我在这里就写出部分难点的.而介绍的顺序也是随任务等级罗列,地点排列顺序也是在按照级别从低到高的区域写出的. 注:目前我这里只有50级以下特性解锁攻略,而其余特性解锁将会持续更新. 一.凯席斯山 特性1-蓝-3,领主裂口里的辉煌宝箱.一个小洞穴几个精英怪,杀到最里面,巨魔会从牢笼里逃出来杀掉,宝箱在牢笼里. 二.底耶沙高地 特性1-蓝-6,狂

Tech Alert:使用全闪存阵列升级数据中心基础架构

  对于承担着升级数据中心存储基础架构任务的IT专业人员而言,市场上的众多一流全闪存阵列(AFA)都能提供具有吸引力的密度.性能和价值.在本文中,飞康公司的专家将提出相关建议,帮助企业成功地集成AFA,同时最大程度减少或消除创建另一个孤立存储系统或手动管理单独的数据服务的挑战. 除非企业拥有将所有工作负载都迁移到单个AFA或一组相同的AFA的足够预算和能力,否则大部分数据中心都可能混合使用AFA.混合阵列和HDD存储资源,而它们各自需要专门的管理和支持.这就会导致数据中心需要混合使用多种不同的工

模块化数据中心破解数据中心“三高”难题

首先,数据中心的专业化程度要求很高.要求营造专业机房环境,从选址.规划.实施.运营.维护到设备选型和方案确定都有着相对苛刻的要求:同时还需要有经验丰富的专业人才参与全生命周期管理. 其次,总体拥有成本(TCO) 和能耗持续居高不下.初期建设投资投入较高,后期运营支出压力日益增大,能耗问题突出. 最后,精细化管理和智能化运维实现难度高,设计规划与工程实施极其复杂.运营和管理效率低下:风险的识别和控制能力较差:智能化运维难以实现,自动化程度很低,普遍采用的手工操作难以确保响应及时性和业务连续性.同时

绿色数据中心:数据中心的五大节能设备

数据中心充满了各种电耗子,比如存储机柜和服务器机柜,但是也有很多产品和服务能够帮助你减少现有设备的能耗.为了纪念地球日(4月22日),我们特别推荐5款能帮助数据中心节能降耗的设备. EnergyWise,是一款安装在思科Catalyst交换机和路由器上的软件,可监控并测量路由器.交换机和IP电话.AP以及PC等设备的能耗情况,然后根据现有的电源使用情形采取必要的行动以减少能耗. Upsite的空白面板可阻挡设备的热通道向冷通道排放热气,并可帮助确认热源从而优化制冷效果. Sentilla的这款设

预制数据中心--边缘数据中心的获胜之道

传输速度对数据来说十分关键.数据正不断在全球各地产生,而不仅仅是在一级城市,那些托管和云计算服务竞争的获胜者将是那些能够向世界各地用户最快传输数据的公司. 为了满足企业外包到云端的需求,或者终端消费者希望在使用社交媒体或内容流媒体服务时获得更快速的体验,用户对数据的处理和传输的要求越来越高.大多数现有的超大型数据中心距离用户太远,而在二级或三级城市运营的数据中心较少,其结果增加了延迟,影响了用户的体验. 当然,解决的办法是建设更接近用户新的数据中心,而大型厂商,托管和云服务提供商出于安全问题,还

英特尔高管加盟联想数据中心 负责数据中心产品

据美国<华尔街日报>3月24日报道,英特尔公司原分管客户运算和物联网事务的首席营运长Kim Stevenson已加盟联想集团有限公司,担任数据中心基础设施部门高级副总裁兼总经理. 在这一新设立的岗位上,Stevenson将负责提升联想集团面向外部客户的服务器.网络.存储及其他数据中心产品和服务的销售.联想集团是全球第三大x86服务器供应商,排在慧与公司和戴尔之后. 联想集团发言人说,Stevenson定于5月1日履新,将向联想集团数据中心部门总裁Kirk Skaugen汇报工作.      

通过同步从数据中心提取数据

MobiLink 是一个基于会话的同步系统,它支持在一个主数据库--通常称为统一数据库--与许多远程数据库之间的双向同步.配合 AdaptiveServer Anywhere 和 UltraLite,它提供了连接远程数据库与中心数据库的强大离线计算体系结构. MobiLink 同步逻辑通过一套同步脚本实现.虽然能在统一数据库使用SQL 语言或 Java 编写存储过程实现,但它们也能使用 C#或 VisualBasic .NET 等.NET 编程语言编写--使用iAnywhere.MobiLink

通过消息从数据中心提取数据

最近的 SQL Anywhere Studio 版本包含了 QAnywhere,它是构建基于消息应用的平台.当手持或其他远程设备间断连接网络时,基于消息的应用是移动计算的可行选择. QAnywhere 实现了 iAnywhere.QAnywhere.Client 命名空间,它可在Windows CE 设备上构建消息驱动型应用.该接口支持同步与异步收发消息,在需要事务一致性的情况下还能收发事务性消息. 与数据同步和 web 服务配合,QAnywhere 更增强了 SQL Anywhere 的灵活性

深度|普惠大数据中心首席数据科学家李文哲:知识图谱的应用

导读:知识图谱 (KnowledgeGraph) 是当前的研究热点.自从2012年Google推出自己第一版知识图谱以来,它在学术界和工业界掀起了一股热潮.各大互联网企业在之后的短短一年内纷纷推出了自己的知识图谱产品以作为回应.比如在国内,互联网巨头百度和搜狗分别推出"知心"和"知立方"来改进其搜索质量.那么与这些传统的互联网公司相比,对处于当今风口浪尖上的行业 - 互联网金融,知识图谱可以有哪方面的应用呢? 目录: 1. 什么是知识图谱? 2. 知识图谱的表示 3