云文件系统中纠删码技术的研究与实现

云文件系统中纠删码技术的研究与实现

程振东,栾钟治,孟由,李亮淑,和荣,杨婷婷,钱德沛,管刚,陈伟

研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。

下载地址:http://bbs.chinacloud.cn/showtopic-18031.aspx

时间: 2024-07-30 07:53:02

云文件系统中纠删码技术的研究与实现的相关文章

技术论文:一种面向纠删码技术的云存储可靠性机制

一种面向纠删码技术的云存储可靠性机制 杜芸芸 在云存储中,数据可以分为三种类型:读频繁.写频繁以及冷数据.对不同类型的数据设置不同的编码机制:对读频繁数据采用多副本技术,频繁写的数据采用单文件编码方案,冷数据采用跨文件编码方案.在云存储系统中提出了一种新的纠删码技术的可靠性机制-魔方码,该编码易于实现,具备高的容错性并且相比多副本机制可以减少资源的消耗.以HDFS上的一个RAID包为基础,实现魔方码的原型,并添加BlaumRoth.RDP以对比测试.虽然各种编码各有优缺点,通过单机和集群测试RA

基于纠删码的云计算存储备份及恢复策略

基于纠删码的云计算存储备份及恢复策略 芦欣 刘渊 如何保障云存储系统中数据的可靠性是云计算领域的热点问题.副本备份技术是保障数据可靠性的重要手段,但是存在占用存储空间大.存储效率低等问题.纠删码能够提供优化的数据冗余度,以防止数据丢失,恰当地使用纠删码可以提高空间的利用效率并获得较好的数据保护效果,在通讯方面已经得到广泛应用.本文将纠删码引入云存储系统中,代替副本备份策略,以提高云存储系统的性能.实验表明该方案可以有效提高数据可靠性和空间利用率. 基于纠删码的云计算存储备份及恢复策略

ceph之纠删码

转自:http://m.blog.csdn.net/blog/skdkjxy/45695355 一.概述 按照误码控制的不同功能,可分为检错码.纠错码和纠删码等. 检错码仅具备识别错码功能 而无纠正错码功能: 纠错码不仅具备识别错码功能,同时具备纠正错码功能: 纠删码则不仅具备识别错码和纠正错码的功能,而且当错码超过纠正范围时可把无法纠错的信息删除. 比如  K=3  M=2  K+M=5 K:原始数据盘个数或恢复数据需要的磁盘个数 M:校验盘个数或允许出故障的盘个数 使用编码算法,通过K个原始

云存储中基于喷泉码的数据恢复系统

云存储中基于喷泉码的数据恢复系统 彭真 陈兰香 郭躬德 云存储服务作为一种新的数据存储和管理服务拥有便携易用的特点,但也伴随着一个重要问题:如何确保数据的完整性和可恢复性.为了解决此问题,设计并实现了一个基于喷泉码的数据恢复系统.该方案采用喷泉码对数据编码确保一定篡改比例下的数据可恢复,同时验证数据完整性时采用哈希函数的时间复杂度.当用户担心自己的数据被篡改时,只需向服务器发出挑战,根据服务器的应答便可知晓自己存储的数据是否完整;一旦发现数据被篡改,可以立即要求服务器定位篡改数据并监督服务器完成

云平台中虚拟机部署的关键问题研究

云平台中虚拟机部署的关键问题研究 吉林大学  董玉双 本文分析了当前流行的虚拟机部署策略及其相关改进方法并分析了当前云计算的研究人员针对虚拟机部署机制的研究工作.在此基础上,本文研究了虚拟机镜像的定制方法,设计了以性能能耗比作为评价标准的虚拟机部署的位置选择策略以及研究了虚拟机部署机制的关键问题.本文主要贡献有:(1)通过LFS (Linux From Scratch)定制虚拟机镜像.为用户提供定制接口,云提供商可以动态的更新为用户提供的服务和应用,云平台根据用户的需求生成相应的需求配置文件,并

[文档]三网融合下基于云计算的实时转码技术的研究和应用

三网融合下基于云计算的实时转码技术的研究和应用 包盛  段保通  邵锋军 本文将探讨三网融合下视频内容的实时转码技术,通过该技术实现视频内容的在线实时转换和匹配,使得转换后的视频内容能够在各类终端上进行播放,同时基于云计算技术,搭建实时转码服务平台,为各类终端用户提供易用.开放.快速高效的融合视频服务. 关键词: 三网融合 实时转码 云计算    temp_12051107496046.pdf

云环境中高性能计算应用的关键问题研究

云环境中高性能计算应用的关键问题研究 兰州大学  丁凡 云计算以服务的形式提供按需获取的.即用即付和随时可扩展的计算资源和存储资源.相比云计算的高可扩展性,传统计算模式中有限的资源显示出逐渐不能满足高性能计算对大规模资源的需求;另外,传统模式中大量的计算资源在非作业高峰期长期处于闲置状态,造成了资源的浪费,使传统高性能计算模式具有投入成本高,资源使用不灵活的弊端.针对这一现状,在开展高性能计算时,将复杂科学应用从传统计算模式移植到云环境中进行研究将是一项有意义的工作. 本文通过移植基于有限元方法

视频云时代挑战下大数据技术及其应用发展趋势

近年来,云计算.云存储.大数据等技术在互联网行业得到了高速发展,技术.产品都得到了较好的市场检验,已被全社会广泛认可.在安防行业,在市场客观需求引领下,主流厂商积极将相关技术引入到行业内,并结合行业特征进行演进,推动云计算.云存储.大数据在行业内的高速发展,同时推出一系列广受市场认可的产品与理念,而云计算.云存储产品也成为各主流厂商主在有关平安城市解决方案中的核心系统之一,这其中所应用的核心技术就成为了衡量所属公司行业地位的关键指标. 视频云时代挑战下大数据技术及其应用发展趋势 视频监控技术趋势

云存储中一种抗窃听攻击的弱安全再生码

云存储中一种抗窃听攻击的弱安全再生码 刘建 王会梅 鲜明 黄昆 纠删码和再生码是保证云存储可靠性的有效机制,但是它们并不能提供节点被窃听情况下存储数据的机密性.该文设计了两类抗窃听攻击的弱安全再生码方案,方案结合All-or-Nothing变换与精确修复再生码策略,保证了攻击者在窃听能力有限的情况下无法获取关于原始数据符号的任何有意义信息,同时具有较小的数据修复带宽.该文给出了通用编码构造方法,证明了其安全性,并通过实验进行了对比分析,结果表明与其它安全再生码相比该方案的编解码时间更短,且具有更