基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究

华东师范大学 华夏渝

本文的研究依托于Hadoop Distribute File System分布式文件系统所构建的分布式存储平台,提出了一种基于粒子群调度分配算法的主从名字节点缓冲架构,旨在解决原有系统在面对具有频繁写入读出特性的一类用户应用程序时系统吞吐量剧烈降低这一问题。

关键词:分布式文件系统   HDFS  分布式缓存  粒子群  云计算   下载地址:http://bbs.chinacloud.cn/showtopic-15624.aspx

时间: 2024-12-25 12:37:20

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究的相关文章

一种基于粒子群优化的虚拟资源分配方法

一种基于粒子群优化的虚拟资源分配方法 周相兵 针对云计算环境下存在虚拟化资源利用率不高.延迟.性能衰减等问题,提出一种基于粒子群的虚拟资源分配优化方法.根据云计算优势,对虚拟化资源进行描述及状态定义,分析了虚拟环境下的服务质量(quality of services,QoS)组成和计算方法;同时通过用户与云提供商收益最大化的平衡关系,建立一种虚拟化操作方法,以确保虚拟化资源被合理分配和回收;采用粒子群算法使用户和虚拟服务提供方都能趋于收益平衡.在此基础上设计的一款云播放器与直接嵌入到Web播放器

基于粒子群和模拟退火算法的混合算法,在Matlab2015中数据量化怎么实现?

问题描述 基于粒子群和模拟退火算法的混合算法,在Matlab2015中数据量化怎么实现? 基于粒子群和模拟退火算法的混合算法,在Matlab2015中数据量化怎么实现? 解决方案 http://www.docin.com/p-679137566.html

基于动态混合分片机制的云存储系统 I/O 性能优化算法

基于动态混合分片机制的云存储系统 I/O 性能优化算法 马玮骏,阮鲲,冯径,沈晔 为了解决云存储系统中存储 I/O 性能优化的问题,从数据分布的角度进行研究,建立了存储分片性能模型,并以此为基础给出了以 I/O 性能最优为目标的分片决策算法以及最优分片数的计算方法,提出了基于动态混合分片机制的数据分布算法( DADH) . DHAH 能充分考虑各存储节点和客户机的实际性能,动态地进行文件分片决策和最优分片数的计算,并且能根据存储节点的实际性能优化数据分布. 实验结果表明: DADH 较传统数据分

MaxCompute理解数据、运算和用户的大脑:基于代价的优化器

MaxCompute简介 大数据计算服务(MaxCompute)是一种快速.完全托管的PB/EB级数据仓库解决方案,MaxCompute具备万台服务器扩展能力和跨地域容灾能力,是阿里巴巴内部核心大数据平台,承担了集团内部绝大多数的计算任务,支撑每日百万级作业规模.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全. MaxCompute架构 MaxCompute基本的体系结构如上图所示,最底层就是

[译]集群调度架构的变革

原文地址:http://www.firmament.io/blog/scheduler-architectures.html 集群调度器是现代基础设施很重要的组件,尤其在最近几年有很大发展.架构从单体应用的设计进化成更灵活,分散的,分布式的设计.但是,目前很多开源能提供的还是单体应用或缺了关键特性.这些特性对于真实世界的用户很重要,因为他们需要很高的使用率. 这是我们发布的第一篇关于在大集群上进行任务调度的系列文章,那些在亚马逊,谷歌,facebook,微软或雅虎实际在使用的.调度是一个重要的话

云存储系统中动态负载均衡算法研究

云存储系统中动态负载均衡算法研究 田浪军 陈卫卫 陈卫东 李涛 针对分布式哈希表(DHT)云存储系统中的存储负载不均问题,提出一种基于节点动态前移(NDF)的负载均衡算法.通过过载节点动态前移,缩小节点存储分区,进而降低节点的存储负载.同时,过载节点向第3个后继节点复制相关数据,保证系统中数据的副本数量稳定.在NDF算法执行过程中,只需过载节点与第3个后继节点进行简单协调,多个过载节点可以并发地进行负载转移,适合在大规模集群中部署. 云存储系统中动态负载均衡算法研究

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定

免费开通大数据服务:https://www.aliyun.com/product/odps 转载自xingbao 各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第三篇,今天主要介绍针对在线服务的资源强稳定 一.FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示:  作为调度器,目前FuxiMaster支持的功能主要有: 1.多租户管理 2.支持FIFO/FAIR调度策略 3.针对在线服务保持资源强稳定

Fenzo:来自Netflix基于Java语言的Mesos调度器

本文讲的是Fenzo:来自Netflix基于Java语言的Mesos调度器,[编者的话]Fenzo是一个在Mesos框架上应用的通用任务调度器.它可以让你通过实现各种优化策略的插件,来优化任务调度,同时这也有利于集群的自动缩放. Netflix有着数百万的用户,要为这个数量级的用户提供可靠的服务并不是一件容易的事情.Netflix是由几十个分布式的服务支撑的,其中每个服务都是产品不可或缺的一部分,并且都在不断迭代着.我们需要从两个方面来优化这些服务,一个是用户体验,另外一个是服务的整体性能以及成

数人云开源Mesos调度器Swan

11月8日,数人云开源Mesos调度器Swan.Swan是基于Mesos Restful API编写的应用调度框架,可以帮助用户轻松发布应用,实现应用的滚动更新,并根据用户指定的策略做应用的健康检测和故障转移.该项目现已开源,遵守Apache 2 License,可在https://github.com/Dataman-Cloud/swan浏览代码.数人云Swan是原生Mesos容器应用调度框架,现已实现应用增删改查和自动恢复,兼容Marathon API,实现应用与实例的统一命名并保持应用实例