基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现

基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现

南京理工大学  李元洪

本文在介绍云计算的基本概念、体系结构及其应用发展的基础上,分析了云计算模型的实现框架和容错机制。针对云计算Hadoop开源平台,详细分析了其中的分布式文件系统(HDFS, Hadoop Distributed File System)和MapReduce计算模型,并对Hadoop平台下的作业调度技术、FIFO、公平队列和计算能力作业调度算法做了深入的研究。 对Hadoop现有的调度算法在异构环境下的计算性能进行了详细的分析,包括硬件资源的CPU使用率和磁盘I/O读写频率对MapReduce作业调度的影响。在此基础上通过对现有的计算能力调度算法进行改进,提出了一种基于反馈的动态负载平衡调度算法。

关键词：云计算 Hadoop MapReduce 作业调度 异构集群 负载平衡

[下载地址]：http://bbs.chinacloud.cn/showtopic-15560.aspx

时间： 2024-12-27 15:14:12

基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现的相关文章

多核编程中的负载平衡难题

多核CPU中,要很好地发挥出多个CPU的性能的话,必须保证分配到各个CPU上的任务有一个很好的负载平衡.否则一些CPU在运行,另外一些CPU处于空闲,无法发挥出多核CPU的优势来. 要实现一个好的负载平衡通常有两种方案,一种是静态负载平衡,另外一种是动态负载平衡. 1.静态负载平衡 静态负载平衡中,需要人工将程序分割成多个可并行执行的部分,并且要保证分割成的各个部分能够均衡地分布到各个CPU上运行,也就是说工作量要在多个任务间进行均匀的分配,使得达到高的加速系数. 静态负载平衡问题从数学上来说是

企业级负载平衡简介（转）

原文出处: loveis715    在之前的一篇文章<放好你的密码 – 从芝麻金融被攻破说起>中,一位读者在评论中提出了"如果整个过程速度比较慢登录会有问题"这样一条评论.虽然说我对文章的正确性很有把握,但也仍需要仔细思考是否自己哪里没有说清楚.在这个思考过程中,我想起了一个非常值得一说的话题,那就是负载平衡. 在那篇文章中我们说到,要安全地管理好密码,计算密码哈希所使用的迭代次数应该尽可能地大,从而使得单次哈希计算的速度变长,增加恶意人员破解密码的难度.反过来,如果有一

在云中使用 MapReduce 和负载平衡

云计算旨在通过 Internet 提供随需应变的资源或服务,通常视数据中心的规模和可靠性水平而定.MapReduce 是一个为并行处理大量数据而设计的编程模型,它将工作划分为一个独立任务组成的集合.它是一种并行编程,由某种功能随需应变的云(如 Google 的 BigTable.Hadoop 和Sector)提供支持. 在本文中,将使用遵从 Randomized Hydrodynamic Load Balancing 技术(下文将详细介绍)的负载平衡算法.利用虚拟化来降低成本和物理服务器的实际数

新手入门：网络负载平衡技术介绍

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   网络负载平衡允许你将传入的请求传播到最多达32台的服务器上,即可以使用最多32台服务器共同分担对外的网络请求服务. 网络负载平衡技术保证即使是在负载很重的情况下它们也能作出快速响应.网络负载平衡对外只须提供一个IP地址(或域名).如果网络负载平衡中的一台或几台服务器不可用时,服务不会中断. 网络负载平衡自动检测到服务器不可用时,能够迅速在剩余的服务器中重新指派客

Windows Server 2012网络负载平衡管理说明

在需求高峰期,http://www.aliyun.com/zixun/aggregation/17117.html">Web服务器,FTP服务器,代理服务器以及虚拟专用网络连接都很容易不堪重负,这会导致系统整体性能的下降和较差的用户体验.为了应对在高峰期下客户机/服务器的性能问题,在运行相同应用程序的情况下,网络负载平衡会通过一个虚拟的服务器集群来分配用户的请求流量. 提到负载均衡,相信很多人对此并不陌生,这项功能也集成在Windows Server 2012创建和管理虚拟集群中,而且此功

应用程序负载平衡新风潮

大量远程.分散的,并且时常处于变化的用户基数将引起根本上无法预测的计算需求的浮动,因此需要拥有强力的监控和平衡IT资源的技术能力. 面对不可预测的工作负载,应用程序负载平衡以及应用程序传递控制器改善资源的利用,并加强面向用户的应用程序性能体验. 将精力投入到理解和选择适合的应用程序负载平衡技术,将可在使用最少的IT资源情况下保证高标准的用户体验. 应用程序负载平衡及相关控制技术 借助不同的技术,应用程序负载平衡和应用程序交付控制都能够加强客户端-服务器应用程序的性能. 负载平衡需要专用的硬件或软

Windows Azure如何对内部服务器实现负载平衡

我从 2009 年开始服务于 Windows http://www.aliyun.com/zixun/aggregation/13357.html">Azure.期间我有幸为各种规模的组织的众多客户构建了解决方案.随着解决方案的增长,我常常需要对内部服务器进行负载平衡.发表本文时,Windows Azure 还没有应对负载平衡的内置解决方案.但是,通过对公共端点引进访问控制列表 (ACL),我能够使用受支持的标准 Windows Azure 服务和组件来实现负载平衡. 在我的示例中,我想对

网络负载平衡分布式作业调度系统实现

1．引言 本质上讲,网络负载平衡是分布式作业调度系统的一种实现.平衡器作为网络请求分配的控制者,要根据集群节点的当前处理能力,采用集中或分布策略对网络服务请求进行调配,并且在每个服务请求的生命周期里监控各个节点的有效状态.一般的说,平衡器对请求的调度具备以下的特征: 网络服务请求必须是可管理的 请求的分配对用户是透明的 最好能够提供http://www.aliyun.com/zixun/aggregation/13440.html">异构系统的支持 能够依据集群节点的资源情况进行动态分配和

转贴：Microsoft Application Center 2000 组件负载平衡技术概述(1)

application Microsoft Application Center 2000 组件负载平衡技术概述 作者:Chris Rees 本技术概述将讨论 Microsoft Application Center 2000 (Application Center) 组件负载平衡技术 (CLB). 引言 Microsoft Application Center 2000 (Application Center) 是 Enterprise Server 的一部分,而 Enterprise Ser