Hadoop平台中空闲时间调度器的设计与实现

Hadoop平台中空闲时间调度器的设计与实现

杨浩   滕飞   李天瑞   李曌

Hadoop作为开源的云计算平台,被广泛应用于自然语言处理、机器学习、大规模图像处理等领域.随着云计算与各行业广泛而深入的结合,多样化的服务对于时效性要求越来越高.现有的Hadoop调度器多关注于缩短响应时间,而非满足作业的时限要求.为了提高集群处理硬实时作业的性能,设计并实现了一种基于空闲时间的硬实时调度器LSS.在调度过程中,LSS动态估算作业的空闲时间,并据此实时更新作业队列中作业的优先级顺序.实验结果表明LSS能够有效地提高集群处理硬实时作业的成功率.

Hadoop平台中空闲时间调度器的设计与实现

时间： 2024-09-25 20:07:15

Hadoop平台中空闲时间调度器的设计与实现的相关文章

数据-像京东淘宝等电商平台中的公告管理是如何设计的

问题描述 像京东淘宝等电商平台中的公告管理是如何设计的 公告管理的页面中,如果使用的是静态页面,需要用什么控件显示数据,以及显示哪些方面的数据 解决方案 可以用script加载动态页输出js脚本,js脚本document.write输出你的公告内容,也可以用ajax动态加载数据 <script src="你的动态页地址"></script> 解决方案二: 一般公告 都是静态文件, 在html 页面中 include 一个html 文件, 这个文件 是由另一个 c

在指定时间干，必须干(kbmmw 中的事件调度)

    从去年开始,kbmmw 慢慢增加内涵,除了完善各种服务外,陆续增加和扩展了作为一个中间件必须有的功能, 例如,权限管理.日志系统.调度系统.内存调试等功能.     今天给大家介绍一下kbmmw 的调度事件,调度事件的主要目标就是"在指定时间干,必须干",不是"爱干"不干,是"必须干" :). 在传统的delphi 中事件调度室通过两种方式,一种方式通过Ttimer 来实现,(我20年做的母校的食堂餐饮消费系统就是通过Ttimer来轮询

Yarn 调度器Scheduler详解

理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源.在Yarn中,负责给应用分配资源的就是Scheduler.其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景.为此,Yarn提供了多种调度器和可配置的策略供我们选择. 一.调度器的选择 在Yarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Scheduler,FairS ched

如何更改 Linux I/O 调度器来调整性能

为了从 Linux 服务器榨取尽可能多的性能,请了解如何更改 I/O 调度器以满足你的需求. Linux I/O 调度器Linux I/O scheduler控制内核提交读写请求给磁盘的方式.自从 2.6 内核以来,管理员已经能够更改这个调度器,所以他们可以自定义他们的平台以完全适合他们的需要. 有三个调度器可供选择,每个调度器都有其优点.这些调度器是: CFQ (Completely Fair Scheduler完全公平调度器)(cfq) :它是许多 Linux 发行版的默认调度器:它将由进程

kernel学习之调度器发展史

调度器的主要工作是在所有 RUNNING 进程中选择最合适的一个.作为一个通用操作系统,Linux 调度器将进程分为了三类:             交互进程:此类进程有大量的人机交互,因此进程不断地处于睡眠状态,等待用户输入.典型的应用比如编辑器 vi.此类进程对系统响应时间要求比较高,否则用户会感觉系统反应迟缓. 批处理进程:此类进程不需要人机交互,在后台运行,需要占用大量的系统资源.但是能够忍受响应延迟.比如编译器. 实时进程:实时对调度延迟的要求最高,这些进程往往执行非常重要的操作,要求

调度器之单体调度器

本文讲的是调度器之单体调度器,[编者的话]本文描述了几个简单的单体调度器,基本的配置以及如何在Deis切换调度后端. 调度是一种向处理资源分配工作载荷的方式.在分布式环境中,调度器格外为大家需要,尤其是那些提供扩展性,资源意识以及高效能特性的调度器. 单体调度器是单个进程实体,进行调度决策并完成需要被调度的任务的部署.这些任务可以是长期运行的服务器程序,短期存在的批处理命令,MapReduce查询等等. 为了调度任务的决策,单体调度器需要:观察集群中资源的可用性(例如CPU.内存等),锁住资源,

调度器 Scheduler

调度器 Scheduler 如果你想给Observable操作符链添加多线程功能,你可以指定操作符(或者特定的Observable)在特定的调度器(Scheduler)上执行. 某些ReactiveX的Observable操作符有一些变体,它们可以接受一个Scheduler参数.这个参数指定操作符将它们的部分或全部任务放在一个特定的调度器上执行. 使用ObserveOn和SubscribeOn操作符,你可以让Observable在一个特定的调度器上执行,ObserveOn指示一个Observab

Hadoop平台的基本组成与生态系统

Hadoop系统运行于一个由普通商用服务器组成的计算集群上,该服务器集群在提供大规模分布式数据存储资源的同时,也提供大规模的并行化计算资源. 在大数据处理软件系统上,随着Apache Hadoop系统开源化的发展,在最初包含HDFS.MapReduce.HBase等基本子系统的基础上,至今Hadoop平台已经演进为一个包含很多相关子系统的完整的大数据处理生态系统.图1-15展示了Hadoop平台的基本组成与生态系统. 1.MapReduce并行计算框架 MapReduce并行计算框架是一个并行化

FreeBSD ULE调度器浅析

FreeBSD 5-CURRENT刚刚引入了一个名为ULE调度器的内核调度单元调度器.这个调度器在SMP系统中的效率要远好于FreeBSD以前版本的调度器(目前,那个调度器被称为4BSD调度器). 新的ULE调度器的设计更像Solaris和Linux等操作系统的调度器.Solaris的SMP性能非常好这一点是它的卖点之一,其调度器采用的优秀算法就是一个很重要的原因.BSD派生系统,尽管由于系统整体设计的合理,以及操作系统其他部分的卓越性能弥补了它在SMP调度器上的不足,甚至尽管FreeBSD在绝