改进人工鱼群算法在Hadoop作业调度算法的应用

改进人工鱼群算法在Hadoop作业调度算法的应用

吉鹏飞 齐建东 朱文飞

作业调度算法是云计算的关键技术，也是云计算核心问题，尤其是在异构环境下资源合理分配问题成为当前研究的热点。本文在分析Hadoop缺省及改进的作业调度算法基础上，引入群智能算法，设计了基于改进人工鱼群算法的Hadoop作业调度算法。采用随机键方式对待分配任务进行编码，以任务总执行时间作为启发函数，并引入吞食行为和跳跃行为改进人工鱼群算法，以达到进一步改善作业调度算法性能的目的。实验结果表明，改进后的人工鱼群算法作业调度算法在异构环境下可以提高系统性能，降低运行时间。

改进人工鱼群算法在Hadoop作业调度算法的应用

时间： 2024-10-30 11:34:20

改进人工鱼群算法在Hadoop作业调度算法的应用的相关文章

MapReduce在Hadoop平台下作业调度算法的改进和实现

MapReduce在Hadoop平台下作业调度算法的改进和实现 海南大学应用科技学院  解慧娟 该文在Hadoop实现的MapReduce架构基础上,分析了现有的三种作业调度算法,针对当前算法没有考虑服务器负载状况和数据本地性差的缺点,提出了基于可变长度队列的公平调度算法(FSVQ),该算法分析了空闲节点率,并通过采取等待的办法满足考虑数据本地性.实验证明该算法可增加服务器集群的工作效率,减少网络延迟,具有实际的应用意义. MapReduce在Hadoop平台下作业调度算法的改进和实现

Hadoop平台下的作业调度算法的研究

Hadoop平台下的作业调度算法的研究 郑州大学  赵晓冰 本文研究的主要内容是Hadoop上作业调度算法的改进.针对LATE算法对任务进度值估算不准以及SAMR算法不考虑备份执行节点的问题,提出了任务备份调度的改进算法(BTIS).BTIS算法通过历史记录较为准确地计算出任务的进度,找到真正的需要启动备份的慢任务:为慢任务选择启动备份的快节点时,会考虑工作节点执行任务的成功率和工作节点当前的负载情况,成功负载比高的节点将会得到执行备份的资格. 在自主搭建的Hadoop集群中验证了BTIS算法能

基于Hadoop的调度算法研究与实现

基于Hadoop的调度算法研究与实现 西南交通大学 李曌 鉴于Hadoop内置的调度算法不能满足有效区分CPU密集型和I/O密集型两种类型的作业并且作业需要在特定的时间之前完成的需求.本文提出一种区分作业类型的基于截止时间的调度算法(Type Specific and Deadline Based Algorithm in Hadoop, TSD).本算法包含两部分:将用户提交的作业分为CPU密集型作业和I/O密集型作业的预测机制:根据用户设置的最后完成期限而设置优先级的基于截止时间的调度算法.

hadoop作业团队及作品介绍

团队介绍 大家好,我们是来自南京大学机器学习与数据挖掘研究所(LAMDA组)的"hadoop作业"团队.我们的队长是邹晓川同学,小组成员有郭训力.李涛和宋拴.我们都是南京大学2011级硕士研究生.在研一下学期,有幸参加黄宜华教授开设的<大规模http://www.aliyun.com/zixun/aggregation/13584.html">海量数据并行处理>的课程,让我们接触了hadoop,了解了hadoop.百度举行的比赛给我们一个一展身手的机会,所以

eclipse提交hadoop作业 Exception from container-launch. 帮助解决可以发红包

问题描述 eclipse提交hadoop作业 Exception from container-launch. 帮助解决可以发红包 首先说一下我的集群:master,slave1.两台机器.(slave文件中有master和slave1,为了使用两台机器进行分布式计算)logs里面的内容和图片显示一样. 解决方案 这个是信息, 解决方案二: active nodes是两个节点,一个master,一个slave1 解决方案三: Exception from container-launch:从wi

数据结构于算法上的作业，求各位大神解答

问题描述 数据结构于算法上的作业,求各位大神解答 第一题 Write a List method, equals, that returns true exactly when the elements of two lists are pair-wise equal. Ideally, your implementation should work for any List implementation, without change. 第二题 Implement a recursive ve

解析淘宝Hadoop作业平台——宙斯Zeus

http://www.aliyun.com/zixun/aggregation/33721.html">2014年7月1日星期二,CSDN在线培训"详解Hadoop作业平台宙斯Zeus"将和大家见面了! 宙斯开源,不仅仅是开源技术,更是开源产品! 宙斯是一个完整的Hadoop的作业平台,从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期.从功能上来说,支持: Hadoop MapReduce任务的调试运行 Hive任务的调试运行 Shell任务

做毕业设计，哪位大神能提供做好的高校排课系统基于人工蜂群算法的？

问题描述 基于人工蜂群算法的高校排课系统,必有重谢 解决方案 解决方案二:只要能做出来rmb也可以解决方案三:唉,课设还没做完.我又没钱让别人帮做,怎么办?解决方案四:楼主,你说一下给多少RMB?解决方案五:先报个价吧.解决方案六:能做出来吗500?现在没有思路啊,不知道怎么结合算法排课,约束条件怎么转化成排课的矩阵?

Hadoop作业的生命周期

下面的图就是一个Hadoop作业运行的生命周期,在接下来的文章中,会详细分析每一个步骤的设计思路和源代码的详解,这张图真正的吃透了,Hadoop也就学会了.