基于动态混合分片机制的云存储系统 I/O 性能优化算法

基于动态混合分片机制的云存储系统 I/O 性能优化算法

马玮骏，阮鲲，冯径，沈晔

为了解决云存储系统中存储 I/O 性能优化的问题，从数据分布的角度进行研究，建立了存储分片性能模型，并以此为基础给出了以 I/O 性能最优为目标的分片决策算法以及最优分片数的计算方法，提出了基于动态混合分片机制的数据分布算法( DADH) ． DHAH 能充分考虑各存储节点和客户机的实际性能，动态地进行文件分片决策和最优分片数的计算，并且能根据存储节点的实际性能优化数据分布． 实验结果表明: DADH 较传统数据分布算法具有最优的 I/O 性能，并且算法性能提升效果在各种带宽下平均达到 18% ～44%．

关键词: 云存储; 数据分布; 动态混合分片; I/O 性能

基于动态混合分片机制的云存储系统 I/O 性能优化算法

时间： 2024-08-29 12:51:10

基于动态混合分片机制的云存储系统 I/O 性能优化算法的相关文章

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究 华东师范大学 华夏渝 本文的研究依托于Hadoop Distribute File System分布式文件系统所构建的分布式存储平台,提出了一种基于粒子群调度分配算法的主从名字节点缓冲架构,旨在解决原有系统在面对具有频繁写入读出特性的一类用户应用程序时系统吞吐量剧烈降低这一问题. 关键词:分布式文件系统   HDFS  分布式缓存  粒子群  云计算   下载地址:http://bbs.chinacloud.cn/showtopic-

基于动态混合高斯模型的商品价格模型算法

1. 背景     作为电子商务网站,淘宝网上的每个商品都有一个价格,该价格从一个很重要的维度上反应出一个商品的品质.但是由于该价格是由第三方卖家自己确定的,因此存在一定的随机性.一个价格过低的商品,其假货的可能性往往较大,比如500元的劳力士手表,或者商品的质量存在问题:同时一个价格过高的商品,可能会失去一个潜在的购买者,也可能会是卖家故意设置高价,以便用户按价格排序时展现在靠前的位置.    因此对一个商品当前价格的合理性进行判断,并根据该商品的属性给出其合理的价格区间,对于规范淘宝网的商品

DBA不失业：云时代的数据库性能优化全攻略

性能问题是数据库中最重要也是最迫切要解决的问题之一,随着业务的发展和数据的不断加增,用户对于系统的响应速度的要求越来越高.而归根结底就是要提高数据库系统的性能.对于大部分的DBA来说,性能优化并不是一件容易的事情,造成性能问题的原因多种多样,在现实中,优化过程也会受到重重阻碍,随着云时代的到来以及自动化智能化运维的发展,那么云时代的DBA该如何优化数据库的性能呢? 在今年的数据技术嘉年华上,我们邀请了来自国内外各大企业的性能优化专家,从不同的角度分析云时代数据库性能优化的技术与技巧. 重点嘉宾与

MIT发表最新云数据库性能优化算法DBSeer

据Gigaom的Jordan Novet报道,麻省理工的研究者已经开发出了 一种名为DBSeer的算法.该算法可提高云数据库的性能,减少用户成本. 以下为文章全文: 麻省理工的研究者已经开发出了 一种名为DBSeer的算法,其目的是为了使数据库云基础设施更具效率,可在更少的服务器上推动更多类似的工作负载,而不是尽可能广泛地分发它们. 目前已有很多数据库公司都进行责任的处理分配,以保持较低的延迟.但站在云提供商的角度,采用研究人员的 DBSeer算法,那么则可以提高云数据库的性能. 研究人员最近发

云时代下的性能优化&运维实践之路

此篇分享有两位阿里技术专家带来满满的干货,第一个要点是,阿里集团对外提供移动开放平台百川码力APM帮助用户解决设备.网络.环境覆盖难的实际困难.信息不准确.不完整,沟通成本高,网络性能手工埋点代码散乱难维护通过分析详情,检测崩溃,捕获信号,网络拓扑,网络检测等等一系列方法得到解决.第二个要点,服务端性能管理的实践,通过基础数据.拓扑数据.调用链数据分析,异常分析,告警这些方式监控管理,更有大牛结合天猫典型案例进行分析.实现复杂需要逐一适配不同容器和框架这是它付出的代价,在数据采集全异步.严格控制

一种基于虚拟隔离机制的安全私有云存储系统

一种基于虚拟隔离机制的安全私有云存储系统 鲍爱华 袁晓萍 陈锋 缪嘉嘉 云存储技术是云计算领域的重要研究方向,由于存在隐私泄漏和安全问题 ,公共云存储服务在持有核心数据的组织(如创新型企业.军队)中往往难以得到广泛应用.提出一种基于虚拟隔离机制的安全私有云存储系统VI-PCS:系统将物理存储介质和公共云存储服务虚拟化为虚拟存储能力,通过集中生命周期管理使其为系统提供服务:系统将文件存储过程划分为元数据管理.文件虚拟存储和文件物理存储3个层面,通过文件重命名.IO透明加解密等方式实现数据安全可靠存

云存储系统中动态负载均衡算法研究

云存储系统中动态负载均衡算法研究 田浪军 陈卫卫 陈卫东 李涛 针对分布式哈希表(DHT)云存储系统中的存储负载不均问题,提出一种基于节点动态前移(NDF)的负载均衡算法.通过过载节点动态前移,缩小节点存储分区,进而降低节点的存储负载.同时,过载节点向第3个后继节点复制相关数据,保证系统中数据的副本数量稳定.在NDF算法执行过程中,只需过载节点与第3个后继节点进行简单协调,多个过载节点可以并发地进行负载转移,适合在大规模集群中部署. 云存储系统中动态负载均衡算法研究

基于Hadoop云存储系统在设计院的应用研究

基于Hadoop云存储系统在设计院的应用研究 黄滨 徐勇 吕岩 近年来,三维设计.协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求.本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于 Hadoop 构建的云存储系统模型,并应用于数据备份.归档及数据共享等领域,满足了设计院对海量数据存储.数据共享和数据挖掘等要求. 关键词-设计院:云计算:云存储:Hadoop:海量数据 temp_1211210942558

基于再生码的云存储系统--Ustor

基于再生码的云存储系统--Ustor 柳青 冯丹 李白 当前常使用多个云共同存储数据,以保证用户数据可靠性.为减少存储成本和修复带宽,提出了一种使用功能性修复再生码(FRC)将数据编码为多个数据块,并分布于不同的云中的方法.该方法减少了多个云中单个云发生数据丢失时需要从网络上传输的数据量,并减少了修复成本,已成功地应用于所构建的云存储系统Ustor中.实验表明:与不编码比较,冗余编码给系统增加了5%~10%的响应时间开销,但可保障节点失效;FRC码编.解码和修复速度与里德-所罗门(Reed-So