NVMe:未来数据中心存储变革的代理

易失性快速存储器协议(NVMe)定义了一种通过PCIe总线访问固态硬盘驱动器(SSD)的新方法,并且预计在未来几年内将会呈指数级增长,与传统协议(如SATA协议)相比,其更高的性能和较低的延迟具有一定的优势。

NVMe支持的存储基础设施不仅能够得到广泛的部署,而且目前正在进入数据中心领域,通常这些数据中心仍在采用传统的机械硬盘(HDD)和固态硬盘(SSD)。而NVMe协议已经成为下一代数据中心存储的代理人。为了理解这种演变,回顾存储技术的发展过程,并检查在由该协议转换的一些新的应用工作负载是十分重要的。

在过去的几十年中,数据存储遵循了一种类似于数据计算的模式,这种模式从中央主机体系结构中发展出来,演变成分布式的客户机/服务器体系结构。然后,又返回到由虚拟化驱动的中央架构,然后返回由基于Web和云计算的应用程序驱动的分布式架构。存储技术又在直接连接的介质和分布式存储区域网络(SAN)之间摇摆不定,通过并行和串行接口使用SCSI命令集和SATA/SAS协议在CPU和存储介质之间物理移动数据。

随着基于闪存技术的固态硬盘(SSD)的出现,传统的SATA/SAS标准协议似乎有些落伍,但其当初的兴起是因为它们经过了实践验证,兼容且无缝集成到现有系统中。随着时间的推移,尽管与数据访问请求和收据相关的长时间的性能延迟,SATA协议仍然是最常见且成本效益最高的接口标准。硬盘驱动器这些延迟是有情可原的,因为磁格式需要磁盘旋转和寻道导致延迟,但对于使用内存单元(相对于磁盘旋转和寻道)的基于闪存的SSD,SATA协议的延迟是不可接受的。最终,因为SATA标准协议更新太慢,无法在基于闪存的存储系统的应用中实现固态硬盘(SSD)的全部优势。

SATA协议的这些限制使PCI
Express(PCIe)成为存储介质未来的逻辑接口,同时也基于为SATA/SAS标准设计的传统SCSI软件栈。PCIe插槽直接连接到CPU(提供类似内存的访问),并在一个较小的软件堆栈运行(参见图1),PCIe接口可以减少数据传输延迟,同时增加传统SATA/SAS的带宽。虽然PCIe接口是朝着正确方向迈出的一步,但每个SSD硬盘都需要自己的专有驱动程序,由于缺乏标准化,这增加了复杂性和不兼容性,因此为SSD厂商开展了更多的开发工作。因此,NVMe协议应运而生。

  图1 SATA和SAS SSD与PCIe SSD的软件堆栈的比较

非易失性存储器(NVME)是基于NAND闪存的固态硬盘(SSD)的标准协议和驱动程序。NVMe的接口由行业领先的存储,网络和服务器供应商(NVMexpress.org)的开放行业联盟开发,提高了基于PCIe的服务器和SSD的非易失性的存储性能,并消除SCSI命令栈和直接连接存储(DAS)与传统HDD接口相关的瓶颈。它是固态介质特有的独特调整的I/O架构,可以去除传统的HDD接口障碍。在概念上,只需要一个驱动程序可以让每个SSD符合标准。

NVMe兼容的固态硬盘(SSD)可以提供高达10倍的基于SATA协议的SSD的读取性能,从而在更少的设备上运行更严格的应用程序工作负载,并使物理硬件的体积更小。最初用于高性能和大容量负荷(溢价成本)的基于NVMe的固态硬盘(SSD)现在可以在之前为基于SATA标准的SSD预留的数据中心的其他领域服务,并且还创建了被广泛采用的计算和存储的融合。

NVMe和固态硬盘

NVMe协议将PCIe闪存存储扩展到新的级别。它是专门针对非易失性固态存储架构优化的。它具有精简的内存接口,命令集和队列设计,非常适合当今的虚拟操作系统。此外,它直接连接到CPU(通过PCIe总线,)可简化存储设备堆栈,并提供比传统SATA/SAS协议更快的性能。因此,所有主要的服务器制造商都实现了对基于NVMe的U.2固态硬盘(2.5英寸格式)的支持,这使其出货量增长,并将很快超过SATA固态硬盘。

  表1 典型SSD硬盘的接口规范

表1显示了使用领先的西部数据SSD硬盘(括号内)进行比较的SATA,SAS,PCIe和NVMe的SSD介质的典型规格。基于NVMe标准的SSD硬盘可提供最佳的IOPS(每秒I/O操作),带宽性能以及最高容量范围。

  表2 SATA与PCIe与NVMe的性能比较

表2比较了基于其高级主机控制器接口(AHCI)与PCIe协议和NVMe标准的SATA协议的关键特性

数据中心的NVMe与SATA

与SATA协议相比,NVMe协议提供更好的带宽和IOPS性能,同时加上较低的延迟。它还可以为主存储设备提供可扩展性,而没有电池支持的RAID或HBA卡的成本或复杂性。使用基于NVMe的存储与基于SATA的存储的优势涵盖了各种工作负载,如以下的讨论所示。

(1)传统的企业数据库工作负载

为了帮助扩展数据库,并避免服务器蔓延或硬件资源利用率不高,Microsoft SQL Server,Oracle DB和Oracle
MySQL可以使用SATA协议的12倍的NVMe带宽,其延迟降低50%。例如,具有SATA存储器的单个数据库服务器受到SATA设备性能的I/O等待条件的限制。结果是系统操作较慢。一个常见的解决方案是购买另一台服务器并分担工作负载,或将一台服务器分配给后端库存,另一台服务器将其分配到订单输入中。但是这些种情况下,都需要两个软件许可证。

使用NVMe固态硬盘(SSD)替换基于SATA协议的SSD或HDD可以将I/O等待时间减少50%,从而使数据库工作负载能够在单个服务器上运行,并且只需要一个软件许可证。单个核心数据库应用程序可能花费数万美元,而许多软件许可证可能占总体拥有成本(TCO)和总运营成本(TOC)的60%以上。然而,NVMe提供了交互式商业智能(BI)工作负载所需的带宽和性能,以及支持诸如联机事务处理(OLTP)等事务性工作负载的最高IOPS。

(2)内存数据库的工作负载

Apache
Spark和其他内存数据库(IMDB)应用程序(依赖主内存进行数据存储)通过持久存储的存储组件更改和扫描数据集,这些数据集的规模通常大于组合的集群存储器。在这种情况下,每个NVMeSSD提供的较高带宽足以以CPU速度提供DRAM内存重载和相关数据扫描。

在采用SATA协议的情况下,需要RAID0配置中的多个驱动器,在平均故障间隔时间(MTBF)和重建时间之间创造挑战。在8个磁盘RAID0系统中的单一故障意味着节点总是失效,必须重新加载;然而,重新加载节点会将受影响的系统置于“降级模式”中,或者更糟的是在完全重建节点时,可能让它们停止运行。

(3)物联网工作负载

NVMe也非常适合整合各种数据源,特别是从较新的工业物联网(IoT)工作负载产生的数据源。例如,一个工厂可以将数千个传感器以每秒数千次将数据传输到NoSQL数据库(如Mongo
DB或Cassandra),每秒数百kB。NVMe的高级带宽对于将这些资源集成到数据库中是至关重要的,同时提供足够的带宽和IOPS来执行分析。

物联网设备(例如自主驾驶汽车,无人机,工厂/农场机器和设备,以及监控摄像机)也收集大量的数据。根据调研机构Gartner公司的研究,到2020年,每辆车辆的连接和自主汽车数据流量可能达到280PB,即每年2.8亿GB。有效处理这些数据的唯一方法是通过车载闪存存储和具有NVMe设备的路边网关。但是,即使使用这种基础设施,大量自主驾驶的“车队”也需要将处理后的数据推送到云端进行存储和分析,从而创建了一个数据海啸,因此需要通过精简的NVMe堆栈实现带宽,IOPS和低延迟。

(4)机器学习的工作负载

机器学习可以有效地使用基于NVMe的设备,特别是即将支持直接内存访问(DMA)扩展,使某些硬件子系统能够独立于CPU访问主系统内存。这种访问使得CPU不仅可以更快地读取数据,而且能够更快地执行更高优先级的任务,例如馈送图形处理单元(GPU)阵列。SATA接口具有较低的GPU利用率,因为数据从多个SATA驱动器传送到DRAM内存,然后使用主机CPU进入GPU。这个过程会导致性能上的差距,特别是当GPU阵列数据不足时。

最后的思考

正如人们过去所体验的计算和存储架构的衰退和流动一样,人们正在经历数据中心的另一波转变。然而,与过去的协议不同,NVMe作为集中化和分散化之间的桥梁,提供了以前不可见的灵活性和选择。因此,人们需要随时关注NVMe将通过计算的未来进行导航,从而实现强大而多功能的系统,并将其作为数据中心变革代理人的应有的地位。

本文转自d1net(转载)

时间: 2024-10-04 04:40:29

NVMe:未来数据中心存储变革的代理的相关文章

云计算落地衍生云存储 数据中心大变革

本文讲的是云计算落地衍生云存储 数据中心大变革,[IT168 资讯]云存储产品随着云计算的落地,已经得到了诸多厂商的支持和关注,云存储是在云计算概念上衍生和发展出来的一种新的技术或者服务,云计算是将分布式处理.并行处理.网络计算相互结合,通过网络将计算机处理程序自动分拆成无 数个较小的子程序再由多部服务器组成的庞大系统经计算分析之后将结果交回给用户.云存储则是将网络中各类存储设备通过应用软件集合起来协同工作,对外提供数据存储和业务访问功能的一个系统. 什么是云存储 云存储主要是由4层组成:包括存

畅想智能存储,2017中国计算机大会“下一代数据中心存储技术与系统”论坛举行

10月27日,2017中国计算机大会(CNCC2017) 技术论坛"下一代数据中心存储技术与系统"在福州举行.围绕论坛主题,众多学术界顶尖学者与企业界重磅嘉宾现场对新型存储器件.多核服务器.高速网络等新硬件的发展以及下一代数据中心的存储技术和系统所面临的机遇与挑战进行了深度研讨. 众所周知,存储基础架构与系统技术是大数据与云计算数据中心的重要基石.围绕"下一代数据中心存储技术与系统",在本届论坛主席中科院计算所副研究员蒋德钧.阿里巴巴资深专家朱家稷的组织下,多位学术

数据中心存储必备三大件是什么?

 信息技术不断进步,全球数据量逐年递增.据IDC公布的调查数据显示,未来全球数据将维持50%左右的增长率,到2020年,全球数据总量将达到44ZB(十万亿亿字节),中国将达到8.6ZB,占全球的21%.在数据量快速增长的背景下,容易生出一个疑问:这么多的数据,究竟都被存放在何处?今天小编想跟大家分享一下存储这一块的变化. 过去的存储三大件,我归纳一下是三个东西.首先是购买一个SAN存储做数据库等业务;文件存储和共享一般会选择NAS;备份和归档一般会选择带库.现在很多传统的数据中心,基本还是这个存

大数据方兴未艾,数据中心迎来变革

互联网的发展带动了云计算.虚拟化.大数据等IT新技术的兴起,各行业的互联网化日渐明显,全新IT时代正在来临.其中,大数据的兴起和发展成为新IT时代,行业互联网化最为典型的特征之一.有数据显示,在全球范围内,数据量以每年50%的速度增长,数据增长的速度已经远远超过IT设计发展的速度.数据本身已经成企业发展的资产,快速捕捉数据信息,实现数字化生产和管理,已经成为未来企业赢得市场,应对行业互联网化的必经之路.全球互联网巨头都已意识到了"大数据"时代,数据的重要意义.包括EMC.惠普(微博).

兆瓦时代,数据中心的变革之道

数据流量的持续激增,正在推动数据中心进入"兆瓦时代".对于电信运营商而言,顺应业务发展需要,实现数据中心的绿色运营,深入挖掘"数据"的价值,完成从传统"语音"向"流量"经营的完美转身,是挑战更是机遇.施耐德电气首席构架师张子扬日前在接受<人民邮电>报记者采访时表示,数据中心在"兆瓦时代"的变革有道可循,电信运营商可以顺应数据中心的发展趋势,从技术.业务等角度,深度挖掘"数据"

大数据方兴未艾 数据中心迎来变革

互联网的发展带动了云计算.虚拟化.大数据等IT新技术的兴起,各行业的互联网化日渐明显,全新IT时代正在来临.其中,大数据的兴起和发展成为新IT时代,行业互联网化最为典型的特征之一. 有数据显示,在全球范围内,数据量以每年50%的速度增长,数据增长的速度已经远远超过IT设计发展的速度.数据本身已经成企业发展的资产,快速捕捉数据信息,实现数字化生产和管理,已经成为未来企业赢得市场,应对行业互联网化的必经之路.全球互联网巨头都已意识到了"大数据"时代,数据的重要意义.包括EMC.惠普(微博)

未来数据中心网络必需的三大件

短短几年间,很多人从不知道什么是SDN.Trill.VXlan,对这些技术不屑一顾,到现在几乎每个数据中心都在谋求转型,每个从事信息技术的人如果还不知道这些单词是什么就Out了,就像这年头还不用微信一样,跟不上主潮流了.当然这些新技术之所以被提出来,并得到很多人的响应和热捧,是因为随着应用的复杂化,人们信息需求不断增加,现有数据中心出现了不少自身无法解决的问题,必须要对现有数据中心进行优化或重建,尤其是数据中心网络要重建.在这样的背景下,催生了很多数据中心网络新技术,这里不乏有一些不切合实际的技

数据中心存储架构

存储系统是数据中心IT环境的核心基础架构,是数据中心数据访问的最终承载体.存储在云计算.虚拟化.大数据等相关技术进入后已经发生了巨大的改变,块存储.文件存储.对象存储支撑起多种数据类型的读取;集中式存储已经不再是数据中心的主流存储架构,海量数据的存储访问,需要扩展性.伸缩性极强的分布式存储架构来实现. 在新的IT发展过程中,数据中心建设已经进入云计算时代,企业IT存储环境已经不能简单的从一般性业务运营需求来构建云计算的数据中心存储环境.云计算数据中心的建设不是为了满足某一个业务系统的特殊目标,是

数据中心存储的能源消耗控制

企业的专注点永远都在节约能耗http://www.aliyun.com/zixun/aggregation/7208.html">提高效率.服务器的能源开销占据了整个数据中心整体能耗的大部分份额,能源的消耗往往成为关注的最重点.由于组织拥有多组由成千上万磁盘组成的存储阵列,所以存储会对数据中心能源利用造城极大的影响. 本文从各个角度以及解决方案方面叙述了关于服务器的能源消耗与冷却需求. 目前来说存储在数据中心设施中的规划和定位 存储在数据中心可能只有很小百分比的影响,也可能影响巨大.这完全