基于重复数据删除的虚拟桌面存储优化技术

近年来,云计算已成为分布式计算领域中的研究热点,它是指运行在数据中心软硬件上的应用通过Internet为用户按需提供服务;并将数据中心内的软硬件资源统称为云,云计算自身并不是一种新技术,而是一种新服务模式。这种模式能够将设备安装和资源管理外包给云服务商,具有按使用计费和扩展灵活的特性,通过对IT资源的统一部署与集中管理,云计算能够优化资源的利用率,为用户提供廉价、高效、可靠的服务。

虚拟桌面作为一种典型的云计算应用,是建立在服务器虚拟化基础上的云应用。如图1所示,虚拟桌面基础架构在云中为用户提供远程的计算机桌面服务;服务提供者在数据中心服务器上运行用户所需的操作系统和应用软件,然后采用桌面显示出议将操作系统桌面视图以图像的方式传送到用户端设备上。同时,服务器对用户端的输入进行处理,并随时更新桌面视图的内容。用户通过任意可以接入Internet的终端,通过授权认证即可进行桌面计算。在虚拟桌面计算模式下,所有计算都可以放在数据中心的服务器上,对终端设备的要求将大大降低,类似于平板电脑、智能手机、掌上电脑以及其他智能的手持设备这样的瘦终端就可以满足更广泛、更灵活的应用需求。虚拟桌面架构通过服务器虚拟化,集中管理、统一配置,使得计算和数据更安全;同时,便于精简配置,降低IT系统成本、能耗以及管理开销。

图1虚拟桌面计算架构

虚拟桌面架构面临服务器虚拟化所带来的存储代价和性能上的挑战。由于几十或上百个虚拟桌面整合到一台物理服务器上,随着用户数目的增长和用户需求的提高,服务器的存储空间需求会迅速扩展;如果一台物理服务器上有100个虚拟桌面,每个40 GB的容量就需要创建和维护100个虚拟磁盘镜像,总共需要4TB的存储容量。另外,一台物理服务器往往需要同时启动和运行多个虚拟机,如何优化虚拟机I/O访问来提高存储性能也是亟待解决的问题,利用虚拟磁盘镜像中存在大量数据冗余的特性;本文应用重复数据删除技术来优化虚拟桌面架构的存储空间利用率,由于数据消重后,数据块被重复引用频率不同;本文将被频繁引用的数据块存放在数据中心中较传统硬盘性能高的基于闪存的固态硬盘上,并同时在服务器端通过本地磁盘缓存热数据以提高虚拟桌面的访间性能。

1相关工作

1. 1重复数据删除技术

重复数据删除技术是一种基于数据冗余度的数据缩减技术。它首先利用一定的数据分块策略将大的数据对象划分为若干较小的数据块,并用数据块的加密哈希值作为指纹来标识它们;通过比对数据块的指纹,我们可以提高存储系统的空间利用率和网络系统的带宽利用率。按重复数据删除操作时机的不同。可以分为在线重复数据删除和离线重复数据删除。在虚拟桌面架构中,由于即时缩减数据能够避免不必要的数据传输和写操作,使得在线重复数据删除更具有优势。按重复数据删除操作粒度的差异,可以分为文件级、块级甚至字节级重复数据删除。根据虚拟机磁盘镜像特点,我们发现块级在线重复数据删除技术更适合虚拟桌面存储的优化。

目前,重复数据删除技术已被广泛应用于虚拟机环境。通过分析虚拟机磁盘镜像的消重效果,发现重复数据删除技术能够大量地缩减虚拟机磁盘镜像存储空间。 Nath等人发现在基于虚拟机的存储系统中进行块级重复数据删除能够充分利用存储和网络资源,Liguori等人对不同操作系统的虚拟机磁盘镜像进行重复数据删除效果比较分析,并测试重复数据删除技术对虚拟机启动和读性能的影响, Zhang等人研究了重复数据删除技术对虚拟机在线迁移的加速效果。本文主要研究如何利用重复数据删除技术来优化虚拟桌面存储系统的存储利用率和I/ O性能。

1.2基于闪存的固态硬盘

基于闪存的固态硬盘是一种非易失性的存储器,主要由闪存芯片和闪存转换层构成。它的数据访问性能介于易失性存储器DRAM和传统硬盘之间,价格比DRAM更便宜。相比于传统硬盘,因为没有机械的磁头运动,其随机读性能与顺序读性能同样快;但由于写操作之前需要进行代价较高的数据擦除操作,使得写性能低于读性能。另外,基于闪存的固态硬盘较DRAM和传统硬盘具有更低的能耗。

基于闪存的固态硬盘较DRAM具有更高的性价比以及能耗优势,使得其在数据中心的数据密集型应用中很受青睐。重复数据删除技术自身是一种密集型的应用;特别是针对数据块索引以及数据块元数据的访问操作,访问数据量小但很频繁。利用基于闪存固态硬盘随机读性能的优势,用其来存储数据块索引和元数据能够极大地优化存储系统的访问性能。由于虚拟磁盘镜像文件在数据消重后文件数据存储碎片化,在传统硬盘上其读性能很差;本文利用基于闪存的固态硬盘在随机读性能上的优势来优化虚拟磁盘镜像文件的读性能。

(责任编辑:蒙遗善)

时间: 2024-09-17 03:30:58

基于重复数据删除的虚拟桌面存储优化技术的相关文章

BlueArc内嵌Permabit的Albireo重复数据删除软件至产品

数据优化存储领域厂商Permabit 公司,近日宣布推出一款新品--Albireo 高性能数据优化软件.截止目前,Permabit 已经有多个产品设计赢得了领先的OEM厂商青睐,而Albireo,这个业内首款也是唯一一款OEM嵌入式数据优化解决方案,将于2010年底通过这些OEM厂商正式上市.Albireo作为新一代数据优化解决方案,能够提供高性能的主数据重复删除,将有利于软硬件OEM厂商更进一步赢得竞争优势以及扩大利润空间. 有了Albireo,Permabit 使OEM 厂商可以部署子文件重

重复数据删除

重复数据删除技术在一两年前已经收到人们的关注,重复数据删除初创厂商Data Domain公司在一两年更是吸引了人们大部分的眼球,业绩的飞速增长.用户的迅速增加,让Data Domain公司以让人难以置信的速度扩张着,Data Domain更是在06年纳斯达克上市.然而在2008年,重复数据删除领域,已经不再是Data Domain一家风光了,EMC.IBM.NetApp.飞康.Sepaton.HP.Sun.HDS.昆腾等公司纷纷行动起来,瞬间,整个市场由一枝独秀变成群雄逐鹿了,而且整个市场呈现出

重复数据删除:块级技术VS.字节级技术

 重复数据删除技术能够识别重复的数据,消除冗余,减少需转移或存储的数据的总体容量.在本文中,我将分别对这两种技术加以评论.与块级技术相比,字节级删除技术对数据的检查更加细微,精度更高,但同时需要更加了解备份流,才能完成任务. 块级技术 块级重复数据删除技术将数据流分割成块,检查数据块,并判定之前是否碰到相同的数据块(通常对每个数据块执行散列算法,形成数字签名或独特的标识符).如果数据块是唯一的,就被写入磁盘,其标识符也存入索引中:否则,仅存入指针,指向存储相同数据块的原始位置.这种方法用小容量的

CIO关注:重复数据删除技术避免存储黑洞

       企业信息系统选型宝典存储备份漫长的等待时间,和瞬间海量数据的增长,对于CIO来说都是一个痛苦的过程.他们眼看着宝贵的存储资源在慢慢被耗尽,又束手无策.数据备份和恢复,是保证企业信息安全的必由之路,但如何有效地利用存储资源,从而缓解存储压力,重复数据删除技术给CIO们提供了一个不错的选择. 机遇 OPPORTUNITY Gartner认为,在未来18个月内,重复数据删除技术(DataDe-duplication)将扮演重要的角色,以帮助企业得以自如地控制日益堆积如山的数据,以达到企业

重复数据删除在主存储中的应用

现如今,重复数据删除技术已经不再让人感到陌生,其价值也已经在备份领域获得了充分的体现,如何发挥重复数据删除技术的最大价值就成为厂商们又一个需要思考的问题.重复数据删除技术向主存储 领域的延伸(NetApp公司开了重复数据删除技术在主存储应用的先河),也让我们看到了厂商期待将这项 技术能够发挥更大的价值.在2009年SNW中国大会上,HIFN向大家展示了其BitWackr重复数据删除和数据 缩减技术,笔者也借此机会与HIFN公司中国区销售总监赵强先生就重复数据删除技术在主存储领域有何 价值进行了一

磁盘及重复数据删除技术推动云存储

在接下来的两年里预计存储在第三方云存储中的数据会有4倍的增长,而存储在离线磁带介质中的数据预计到2012年则会减少三分之一. 磁盘以及重复数据删除技术推动了云的使用 无穷无尽的数据增长使得人们不得不使用基于磁盘的备份来缓解备份窗口过短的压力,从而释放更多的资源来执行更大的备份任务.而越来越多的能够提高存储利用率的技术比如重复数据删除,也从侧面推动了基于磁盘备份方式的普遍应用.那么,这些趋势如何影响人们对云备份的兴趣呢? 随着IT组织越来越多的采用磁盘备份来降低对磁带的依赖度,将数据以电子的形式保

Nexenta推新品为主存储提供联线重复数据删除

近日,开放式存储解决方案的供应商Nexenta Systems推出了NexentaStor 3.0和虚拟机数据中心(VMDC)3.0,前者是该公司企业级存储解决方案基于文件系统ZFS的重大升级,后者是其最新版本的虚拟化管理平台.新版NexentaStor 3.0是首个整合了基于ZFS的联线重复数据删除技术的商业存储解决方案,为存储行业带来质的飞跃.NexentaStor 3.0还可支持Microsoft Hyper-V,使其成为唯一支持所有主流虚拟化环境的存储解决方案.随着此次新品的推出,Nex

如何使用重复数据删除技术实施主存储优化

主要文件系统存储优化(也就是在同样的空间塞进更多的数据)继续在日益普及.这里的挑战是主存储的重复数据删除并不是没有规则的.你不能删除这个重复的数据,也不能删除那个重复的数据,你必须要认识到删除重复数据之后对设备性能的影响. EMC已经宣布了在自己的Celerra平台上删除重复数据的功能.NetApp使用这个功能已经有一段时间了.其它厂商也以积极的方式增加这个功能,其方法是在数据不流动之后对数据进行压缩和删除重复数据.然后,Storwize等公司一直以在线实时压缩的方式提供这种功能. 正如存储虚拟

为什么重复数据删除对于云存储而言如此重要?

 [51CTO.com快译]大多数人认为云存储服务较实体存储更便宜.毕竟大家可以根据性能与访问需求以每TB每年276美元甚至更低的价格租用存储资源.相比之下,企业数据仓库的每TB每年使用成本一般在2500美元到4000美元之间. 然而除了一级数据之外,大家还需要在云环境下对数据进行备份或者副本保存,这无疑会令资源使用支出大幅提升.设想一下,若企业需要以三年为周期每月保留100 TB备份数据,则其原始备份数据约等于3.6 PB,每月支出将超过83000美元.而且这还不算数据访问以及检索带来的成本.