基于再生码的云存储系统--Ustor

基于再生码的云存储系统--Ustor

柳青 冯丹 李白

当前常使用多个云共同存储数据，以保证用户数据可靠性。为减少存储成本和修复带宽，提出了一种使用功能性修复再生码(FRC)将数据编码为多个数据块，并分布于不同的云中的方法。该方法减少了多个云中单个云发生数据丢失时需要从网络上传输的数据量，并减少了修复成本，已成功地应用于所构建的云存储系统Ustor中。实验表明：与不编码比较，冗余编码给系统增加了5%~10%的响应时间开销，但可保障节点失效;FRC码编、解码和修复速度与里德-所罗门(Reed-Solomon或RS)码基本相当，256MB大小文件编码时间差距在0.5 s以内;FRC码修复时与传统的RS码相比减少了25%以上需要下载的数据量。

基于再生码的云存储系统--Ustor

时间： 2024-10-13 00:02:32

基于再生码的云存储系统--Ustor的相关文章

基于Hadoop 的校园云存储系统的研究

基于Hadoop 的校园云存储系统的研究 高新成, 王莉利 针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点.通过对Hadoop 框架和MapReduce 编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop 框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop 的校园云存储系统. 关键词-Hadoop; MapReduce; 云计算; 分布式计算; 存储模型 temp_1210021608512

基于压缩感知的云存储系统状态监测方法

基于压缩感知的云存储系统状态监测方法 冯径 张梁梁 沈晔 梁陆萍 为了解决大规模状态监测数据处理中高精度与大规模之间的矛盾,利用压缩感知处理宽带信号优于奈奎斯特采样定律的特性,提出了一种适合于测量云存储系统状态的压缩感知状态监测方法SDCS．该方法是在经典匹配追踪MP算法的基础上,增加贝努利矩阵行和为零的约束条件而得到的,可用于测量含直流分量的稀疏信号,并保证原始的重构算法依然满足改进后的目标函数． 基于压缩感知的云存储系统状态监测方法

基于Hadoop云存储系统在设计院的应用研究

基于Hadoop云存储系统在设计院的应用研究 黄滨 徐勇 吕岩 近年来,三维设计.协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求.本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于 Hadoop 构建的云存储系统模型,并应用于数据备份.归档及数据共享等领域,满足了设计院对海量数据存储.数据共享和数据挖掘等要求. 关键词-设计院:云计算:云存储:Hadoop:海量数据 temp_1211210942558

一种基于LT码的数据云存储方案

一种基于LT码的数据云存储方案 李力 鄢田云 拜占庭失效或恶意攻击会降低云服务供应商的云存储服务可靠性,为此,提出一种基于云计算的安全可靠数据存储方案.通过LT编码增加分布式云服务器的数据冗余度,在保证性能全局准最优的同时,提升数据用户在数据检索阶段的解码效率.利用支持公共数据完整性检查和准确数据修复,避免数据拥有者长期保持在线状态,并设计数据修复解决方案,使服务运行期间无需产生元数据也能进行数据修复.实验结果表明,与基于网络编码和基于RS码的云存储方案相比,该方案的通信成本只增加了15%,但数

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究 华东师范大学 华夏渝 本文的研究依托于Hadoop Distribute File System分布式文件系统所构建的分布式存储平台,提出了一种基于粒子群调度分配算法的主从名字节点缓冲架构,旨在解决原有系统在面对具有频繁写入读出特性的一类用户应用程序时系统吞吐量剧烈降低这一问题. 关键词:分布式文件系统   HDFS  分布式缓存  粒子群  云计算   下载地址:http://bbs.chinacloud.cn/showtopic-

基于动态混合分片机制的云存储系统 I/O 性能优化算法

基于动态混合分片机制的云存储系统 I/O 性能优化算法 马玮骏,阮鲲,冯径,沈晔 为了解决云存储系统中存储 I/O 性能优化的问题,从数据分布的角度进行研究,建立了存储分片性能模型,并以此为基础给出了以 I/O 性能最优为目标的分片决策算法以及最优分片数的计算方法,提出了基于动态混合分片机制的数据分布算法( DADH) ． DHAH 能充分考虑各存储节点和客户机的实际性能,动态地进行文件分片决策和最优分片数的计算,并且能根据存储节点的实际性能优化数据分布． 实验结果表明: DADH 较传统数据分

云存储中基于喷泉码的数据恢复系统

云存储中基于喷泉码的数据恢复系统 彭真 陈兰香 郭躬德 云存储服务作为一种新的数据存储和管理服务拥有便携易用的特点,但也伴随着一个重要问题:如何确保数据的完整性和可恢复性.为了解决此问题,设计并实现了一个基于喷泉码的数据恢复系统.该方案采用喷泉码对数据编码确保一定篡改比例下的数据可恢复,同时验证数据完整性时采用哈希函数的时间复杂度.当用户担心自己的数据被篡改时,只需向服务器发出挑战,根据服务器的应答便可知晓自己存储的数据是否完整;一旦发现数据被篡改,可以立即要求服务器定位篡改数据并监督服务器完成

云存储中一种抗窃听攻击的弱安全再生码

云存储中一种抗窃听攻击的弱安全再生码 刘建 王会梅 鲜明 黄昆 纠删码和再生码是保证云存储可靠性的有效机制,但是它们并不能提供节点被窃听情况下存储数据的机密性.该文设计了两类抗窃听攻击的弱安全再生码方案,方案结合All-or-Nothing变换与精确修复再生码策略,保证了攻击者在窃听能力有限的情况下无法获取关于原始数据符号的任何有意义信息,同时具有较小的数据修复带宽.该文给出了通用编码构造方法,证明了其安全性,并通过实验进行了对比分析,结果表明与其它安全再生码相比该方案的编解码时间更短,且具有更

一种基于虚拟隔离机制的安全私有云存储系统

一种基于虚拟隔离机制的安全私有云存储系统 鲍爱华 袁晓萍 陈锋 缪嘉嘉 云存储技术是云计算领域的重要研究方向,由于存在隐私泄漏和安全问题 ,公共云存储服务在持有核心数据的组织(如创新型企业.军队)中往往难以得到广泛应用.提出一种基于虚拟隔离机制的安全私有云存储系统VI-PCS:系统将物理存储介质和公共云存储服务虚拟化为虚拟存储能力,通过集中生命周期管理使其为系统提供服务:系统将文件存储过程划分为元数据管理.文件虚拟存储和文件物理存储3个层面,通过文件重命名.IO透明加解密等方式实现数据安全可靠存