云存储系统中的数据布局策略研究

云存储系统中动态负载均衡算法研究 田浪军 陈卫卫 陈卫东 李涛 针对分布式哈希表(DHT)云存储系统中的存储负载不均问题,提出一种基于节点动态前移(NDF)的负载均衡算法.通过过载节点动态前移,缩小节点存储分区,进而降低节点的存储负载.同时,过载节点向第3个后继节点复制相关数据,保证系统中数据的副本数量稳定.在NDF算法执行过程中,只需过载节点与第3个后继节点进行简单协调,多个过载节点可以并发地进行负载转移,适合在大规模集群中部署. 云存储系统中动态负载均衡算法研究

云存储中双备份数据的安全访问 李红卫 叶飞跃 古春生 于志敏 景征骏 在云存储中,云服务提供商能否保证客户数据的完整性和私密性是每一位客户关心的问题如何恢复 因设备故障或管理不当而丢失的数据,如何防范敌手对客户的攻击篡改数据或窥视客户访问云存储的地址序列,这些都是客户存储重要且私密数据时须考虑的问题. 云存储中双备份数据的安全访问

企业数据中70%的数据是非结构化数据.大数据时代,企业非结构化数据的几何式增长,给企业带来了巨大的机遇和财富.许多中大型企业都希望建设自己的私有云存储系统,做好海量数据的积累与传承. 但是,企业该如何满足不断变化的存储需求,保持系统的稳定性?如何有效地规避系统运行中因各种软硬件问题而导致的数据丢失.损坏等风险?当数据增长到一定量级时,又如何对数据进行高效利用?围绕企业数据管理,又存在着一系列的难题与挑战. 但毋庸置疑的是,数据已经成为企业最重要.最具有发展价值的数字资产.统一管理与充分利用好企业

如今, 由于数据成本的不断飙升.技术管理人员的水平参差不齐等原因,云存储已经成为了各个机构数据存储的重要举措和发展方向.云存储作为云中的一项重要服务, 它通过集群应用.网格技术或分布式文件系统等将各种存储设备通过应用软件集合起来, 对外提供数据存储和业务访问.对于数据存储, 当我们从一个物理环境和单个阵列过渡到完全虚拟化的.高度动态的的存储环境时,需要面对很多问题.而数据迁移作为采用云存储方案中最为基础.关键的步骤.它将历史数据进行清洗,转换, 并装载到新系统,它是保证数据系统平滑升级和更新的重

存储领域国际权威机构SNIA(存储网络工业协会)给出了存储虚拟化(StorageVirtualization)的定义:"通过将存储系统/子系统的内部功能从应用程序.计算服务器.网络资源中进行抽象.隐藏或隔离,实现独立于应用程序.网络的存储与数据管理".存储虚拟化技术将底层存储设备进行抽象化统一管理,向服务器层屏蔽存储设备硬件的特殊性,而只保留其统一的逻辑特性,从而实现了存储系统的集中.统一.方便的管理. 与传统存储相比,虚拟化存储的优点主要体现在:磁盘利用率高,传统存储技术的磁盘利用率

云存储系统的结构模型 与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备.存储设备.服务器.应用软件.公用访问接口.接入网.和客户端程序等多个部分组成的复杂系统.各部分以存储设备为核心.通过应用软件来对外提供数据存储和业务访问服务. 云存储系统的结构模型由4层组成. 1存储层 存储层是云存储最基础的部分.存储设备可以是FC光纤通道存储设备,可以是NAS和iSCSI等IP存储设备,也可以是SCSl或SAS等DAS存储设备.云存储中的存储设备往往数量庞大且分布多不同地域.彼此之间通过广域

今天的企业整个数据管理是一个什么样子?大家可以想象一下,从数据类型看,有交易数据.文档.图片.文本.邮件.音频.移动数据以及视频等.从基础架构看,从物理机到Windows.VMware虚拟化的出现,再到云存储.云服务最后到融合了私有云公有云的混合云架构.从数据量上看,数据增量从GB到TB到PB再到EB的级别. 而以此延伸的数据管理的复杂度不是仅仅是(数据类型+基础架构+数据量).应该是(数据类型x基础架构x数据量)的复杂度,或者是更复杂(数据类型x基础架构x数据量)的平方. 复杂是一个问题,数据

对于任何值得加以认真对待的云方案,其都需要满足用户对于功能的不断追求.机器学习显然应该被列入这份需求清单当中,而各大云服务供应商如今也已经拿出了自己的答卷. 不过其具体实现方式则又是另一码事了.除了"设计API对开放式算法市场"模型,市面上还存在着"涵盖一切对够用就好"这类衍生方案.下面我们将一同了解四大云服务供应商--IBM.微软.谷歌与Amazon--如何各自实现机器学习技术. IBM:率先起锚,沃森掌舵 自当初IBM公司宣布将其沃森AI系统转化为可消费服务以来

基于动态混合分片机制的云存储系统 I/O 性能优化算法 马玮骏,阮鲲,冯径,沈晔 为了解决云存储系统中存储 I/O 性能优化的问题,从数据分布的角度进行研究,建立了存储分片性能模型,并以此为基础给出了以 I/O 性能最优为目标的分片决策算法以及最优分片数的计算方法,提出了基于动态混合分片机制的数据分布算法( DADH) ． DHAH 能充分考虑各存储节点和客户机的实际性能,动态地进行文件分片决策和最优分片数的计算,并且能根据存储节点的实际性能优化数据分布． 实验结果表明: DADH 较传统数据分