提高数据存储效率的七个技巧

如今的实践证明,存储网络,服务器端闪存,网络缓存,软件定义存储,全闪存,以及混合阵列有助于提高存储性能和效率。

IT专业人员经常致力于提高存储性能,以确保应用程序获得他们运行所需的资源。有的企业采用的是硬盘技术,这意味着其使用成本昂贵,并且效率低下,例如在几十个(或是数百个)硬盘上分割数据,然后格式化这些驱动器,只有一半的硬盘容量可用于应用程序。

如今,更为经济的闪存存储器在可预见的未来有望打破存储设备在应用性能上的瓶颈。为了充分利用闪存,人们需要以正确的方式和正确的技术来实现它。这样,就可以从整体的固态存储部署和存储网络中提取最高性能和更高的效率。

例如,对于活动数据,闪存可以提供更好的性能,移动部件比硬盘驱动器少。其结果是,对于主要的数据用例,特别是在长期使用情况下,部署闪存通常比硬盘更便宜。固态存储器的问题是只有大约5%到10%的数据中心数据是活动的。因此,用户可以节省一些费用,并将剩余的90%或更多存储在容量更大,成本更低的硬盘上,或者越来越多地存储在云中。闪存不一定会单独提高数据存储效率和性能。用户需要从一个坚实的基础开始,以下就是提高数据存储效率的七个提示,可以让存储更快,更有效。

(1)改善存储网络

基于硬盘的系统的延迟不会暴露网络的弱点,虽然确实如此,但基于闪存的系统就是这样,在升级到闪存存储器或向现有系统添加其他SSD硬盘之前,应首先最大限度地提高存储网络的性能。要考虑的网络有三个组件:服务器,存储系统中的主机总线适配器(HBA)或网络接口卡(NIC),网络交换机和布线基础设施。

很容易看到前两个组件(NIC/HBA和交换机)的带宽能力,这应该至少部署10Gbps或16Gbps光纤通道(FC)或更快的通道。虽然带宽很重要,但延迟和交付质量更是如此。大多数数据中心不会生成足够的连续事务来淹没高速网络。相反,他们产生了数以百万计小生意。网络将这些事务从服务器转移到存储器,并再次返回,这对于在闪存投资中提取最大性能至关重要。

(2)数据存储效率与性能

在存储领域中,效率和性能是截然相反的力量,因为效率通常以牺牲性能为代价来增加价值。人们用于提高数据存储效率的许多技术(例如精简配置,重复数据删除和压缩)实际上损害了存储系统性能。闪存存储在效率和性能之间创造了一个中间地带。是的,使用这些技术对闪存的损害性能,就像他们对硬盘驱动器一样。但是由于闪存性能如此之高,它通常会提供过多的性能周期。因此,从用户的角度来看,运行通常的数据存储效率程序不会显著影响性能。

布线也很关键,在存储网络性能和数据存储效率方面是经常被忽视的因素。用户应该在光纤上构建布线基础设施,以支持当前和下一代网络的高带宽和低延迟功能,并将其构造为轻松确定端口分配。另外,还需要了解“链路损耗预算”,这是连接之间丢失的信号量。

一旦用户对存储网络进行了微调,就应该考虑使用闪存存储部署。

(3)实现服务器端闪存

在服务器端的闪存设计中,连接到该网络的网络和存储设置保持不变,基本上安装了基于硬盘驱动器的存储阵列,其中存储网络的速度和质量并没有实现共享闪存阵列时那么重要。然而,如何利用服务器端闪存可能有所不同。

对网络影响最小的设计是隔离服务器闪存。在这里,用户安装的SSD或闪存PCIe卡只负责该服务器的I/O。服务器本身可能成为单点故障,因此,这个用例仅适用于存储在共享存储阵列上的数据的读取缓存。

相比之下,服务器端闪存技术将来自多个服务器的内部闪存存储器聚合以创建虚拟闪存池。这些服务器端的闪存聚合产品适用于读取和写入缓存,甚至适用于存储层。然而,它们在性能方面引入了网络因素,因为聚合需要网络来创建虚拟存储池。

(4)部署网络缓存

与存储系统升级(仅提高单个系统的性能)不同,网络缓存可提高网络上每个存储系统的性能。这些设备基本上位于存储系统和服务器之间,缓存那些最活跃的数据。许多网络缓存在高可用性配置中可用,使其适合缓存读取和写入I/O。用户还可以调整网络缓存的大小,使闪存存储区域大到足以存储组织的整个活动数据集,从本质上将现有阵列转换为存档和数据保护存储系统。

网络缓存的一个重要优点是能够提高存储性能,而无需替换当前的数据保护策略和过程。这些过程将保持不变,因为数据现在将位于高速缓存和原始存储系统上。

这时需要注意,查找可以在快照或备份作业开始之前以编程方式刷新高速缓存的网络高速缓存,这很重要。在部署之前,还应考虑网络基础架构及其组件的质量。

(5)使用小型闪存阵列实施软件定义存储(SDS)

提高存储性能和数据存储效率的另一个选择是使用软件定义存储(SDS)。这些产品在设备或管理程序上运行,并在各种硬件阵列上提供一组通用的存储软件功能。一些软件定义存储(SDS)系统可以利用现有的存储硬件,以及在它们之间提供数据的自动迁移。如果向现有基础架构添加小型闪存阵列,则可以使用SDS自动将最活跃的数据集移动到阵列以提高性能,并且作为额外的好处简化管理,因为所有存储管理随后变得统一。

(6)优化应用程序

在实施新的或增强现有存储系统之前,请仔细检查要运行的应用程序。许多存储专业人员发现这会令人生畏,因为他们既不拥有应用程序也不理解其周围的代码。好消息是,具有一些可用的程序可以检查应用程序代码,提供高质量的分析,并提出改变什么和在哪里的具体建议。虽然它可以跳过这一步,但会引出更多的硬件问题。代码相关的性能问题可能被高性能存储屏蔽,但它不会允许闪存充分发挥其全部潜能,这从而迫使管理员需要寻找其他潜在的性能损失,如存储网络。在实现闪存修复代码之前,甚至可以避免首先需要闪存,或降低购买闪存的需要。

(7)购买新的全闪存或混合阵列

这对于部署现有基于硬盘的系统(仍具有使用寿命,在原始保修范围内)的数据中心而言是理想的,因此用户可以重新部署这些陈旧的机械硬盘系统,并使用新的闪存阵列进行扩展。但是,在某些时候,用户需要购买一些新的存储系统。这意味着在全闪存或混合阵列之间进行选择。最初的决策相对简单:如果组织能够提供满足其容量要求的全闪存阵列(可以假设将满足性能要求),那么就实施采购,不要犹豫。

然而,许多组织并不会找到适合他们预算的闪存阵列。他们可以通过选择混合阵列,将闪存和HDD组合到同一个系统中,然后通过软件在它们之间自动移动数据,从而获得与没有这种投资级别的全闪存阵列大致相同的好处。

人们可能会对混合阵列的高速缓存缺失更为关注,而这是过去的事情。这是人们的一个担心,当闪存容量如此昂贵,以至于混合阵列的闪存层占总存储容量的5%以下。现在,闪存层通常是容量的25%,这将会显著降低高速缓存错过的可能性。

综上所述,提高存储性能的道路并非始于全闪存投资。它始于对整个存储网络的仔细检查。一旦完成,还要考虑许多其他存储性能和数据存储效率增强选项,其中包括某些类型的闪存存储部署。哪些产品是选用于数据中心最好的工作方式,一些IT部门甚至可能甚至不需要升级他们的存储系统。

本文转自d1net(转载)

时间: 2024-10-02 21:38:31

提高数据存储效率的七个技巧的相关文章

提高数据中心效率的五大基本规则

本文作者Nate Clyde PE是Parallel Technologies公司的数据中心设计总监. 企业组织想要在当前这样一个充满着激烈的市场竞争的世界中保持竞争力,最为重要的是要不断寻求机会,以提高运营效率,减少开支,改善盈利能力.而在企业业务运营的每一个方面,效率的提升永远是一个没有终点的永无止境的旅程. 作为企业组织的一项最为重要的资本投资,当涉及到性能提高方面的议题时,数据中心往往是最备受关注的.在行业内,关于数据中心需要尽可能有效地运行,以避免捆绑企业有价值的资源已然是一项毫无疑义

打破IT壁垒 提高数据中心效率

虚拟化对企业的IT部门而言是一种挑战.实际上,我逐渐意识到企业内的IT部门划分--如网络.存储和服务器管理组--实际上降低了生产力和数据中心效率,相悖于最初的商业构想.不过,如果采用合理的策略和方式,虚拟化可以提升数据中心效率和操作能力,并降低整体管理费用. IT组织划分部门是物理架构体系的遗留习惯.第一波虚拟化浪潮对传统IT部门的挑战还不明显.但随着更多的企业转向云,很多CIO都在考虑这种传统物理架构管理模式是否仍适用于云数据中心. 即使企业刚刚步入云领域就开始打破传统IT部门的划分方式依然不

融合基础设施硬件提高数据中心效率

融合基础设施的硬件可以使IT专业人员的工作更容易一些.仅靠其强大的管理功能,就可以提高数据中心的效率. 最终,融合基础设施的硬件简化了IT服务的交付,并通过使用四种类型的虚拟化,在一个盒子中创建灵活的资源池,提高数据中心的效率. 实施融合基础设施硬件的案例 这是第一次,你终于可以在一个融合的基础设施部署IT服务充分支持高可用性,可以满足长期的服务水平. 这个保证源于融合的基础设施的设计:它是由机箱,管理工具,网络和存储等组成了一个共同的服务器架构.融合基础设施硬件将各个部分设计为一个单元.这种一

提高数据中心效率、可用性和容量的五项最佳实践方案

数据中心可以说是任何企业中最具活力和最为关键的操作之一.近年来,随着数据中心的密度和容量呈现稳步增长,其复杂性和安全风险也在不断增加,资源日趋紧张,进一步为其相关设备的性能带来了不良的影响.根据一项针对数据中心行业的停机中断研究结果显示,数据中心的任何类型的停机中断的平均成本为389,879欧元,而部分的停机中断的平均成本为199,103欧元.完全停机中断的成本超过524,464欧元.鉴于停机中断的成本如此之高,使得IT容量的可用性通常是评估数据中心的最重要的指标.然而,在今天,数据中心还必须同

最大限度提高数据中心效率的五种方法

如今,优化数据中心的电源使用是数据中心管理人员的高度优先的工作事项,而随着电力成本在数据中心成本比例持续增长,他们仍然面临着严峻的挑战. 大约10%的数据中心运营支出(OPEX)是电力成本,在未来五年内,电力成本可能约占数据中心运营支出的15%. 能源使用效率(PUE)已经成为用于测量数据中心电能效率的实际行业标准.然而,虽然PUE指标侧重于数据中心设施组件的能效,但它并未提供IT设备级能效改进的见解. 在大多数情况下,提高IT设备的电源使用效率可以最大限度地提高整体的电源使用效率.数据中心经理

提高MySQL 查询效率的三个技巧第1/2页_Mysql

MySQL由于它本身的小巧和操作的高效, 在数据库应用中越来越多的被采用.我在开发一个P2P应用的时候曾经使用MySQL来保存P2P节点,由于P2P的应用中,结点数动辄上万个,而且节点变化频繁,因此一定要保持查询和插入的高效.以下是我在使用过程中做的提高效率的三个有效的尝试. l        使用statement进行绑定查询 使用statement可以提前构建查询语法树,在查询时不再需要构建语法树就直接查询.因此可以很好的提高查询的效率. 这个方法适合于查询条件固定但查询非常频繁的场合. 使

采用DCIM软件提高数据中心效率

鉴于当前的数据中心环境的复杂性不断上升,采用工具跟踪哪一部分IT基础设施用于什么目的,这已经超出了大多数数据中心管理者的能力.事实上,当IT组织可以通过使用电子表格来保持精确的库存时,他们就已经具备了管理信息基础设施的部分能力. 今年九月即将在马里兰州国家港湾召开的数据中心世界大会上,数据中心基础设施管理软件供应商Cormant公司高级技术顾问布拉德•比米什,将解释为什么DCIM软件不仅是数据中心获得可见性的一个重要环境工具,而且同样重要的是,DCIM也是IT运营团队产生分析洞察力能够理解的的方

解析提高PHP执行效率的50个技巧

1.用单引号代替双引号来包含字符串,这样做会更快一些.因为PHP会在双引号包围的字符串中搜寻变量, 单引号则不会,注意:只有echo能这么做,它是一种可以把多个字符串当作参数的"函数"(译注:PHP手册中说echo是语言结构,不是真正的函数,故 把函数加上了双引号). 2.如果能将类的方法定义成static,就尽量定义成static,它的速度会提升将近4倍. 3.$row['id'] 的速度是$row[id]的7倍. 4.echo 比 print 快,并且使用echo的多重参数(译注:

提高PHP编程效率的方法_php技巧

1.如果能将类的方法定义成static,就尽量定义成static,它的速度会提升将近4倍.2.$row['id'] 的速度是$row[id]的7倍.3.echo 比 print 快,并且使用echo的多重参数(译注:指用逗号而不是句点)代替字符串连接,比如echo $str1,$str2.4.在执行for循环之前确定最大循环数,不要每循环一次都计算最大值,最好运用foreach代替.5.注销那些不用的变量尤其是大数组,以便释放内存.6.尽量避免使用__get,__set,__autoload.7