ResourceManager内部组成

1. ClientService

应用提交、终止;传递应用、队列、集群统计、ACL信息，初此以外，还负责对连接过来的客户端做验证，一般用kerberos，或这自带的delegation token

2. Adminstration Service

刷新queue;刷新node节点; 添加新的user-to-group映射，包括administration ACL，修改superuser列表

Administration Service与Client Service与ApplicationMaster紧密结合，保证ACL的可靠性。

3. Application ACL Manager

ResourceManager需要保证 user-facing API像client请求与administratio请求，给认证的用户。acl可以通过yarn.acl.enable设置为true开启。

ACL有两种，一个是查看的，另一个是修改的。

每个应用都可以有个ACL，用户可以在提交任务的时，在ApplicationSubmissionContext中附加上ACL信息。之后会由

时间： 2024-11-26 09:57:28

ResourceManager内部组成的相关文章

Hadoop YARN架构设计要点

YARN是开源项目Hadoop的一个资源管理系统,最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但是现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,通过YARN来管理资源.如果你的应用程序也需要借助YARN的资源管理功能,你也可以实现YARN提供的编程API,将你的应用程序运行于YARN之上,将资源的分配与回收统一交给YARN去管理,可以大大简化资源管理功能的开发.当前,也有很多应用程序已经可以构建于Y

ResourceManager架构解析

RM作为master管理着所有的集群资源,它会和NM和特定application的AM共同工作 1. NodeManagers NM从RM中获得指令,并管理着单节点上可用资源 2. ApplicationMasters 负责和RM协调,然后通知NM来启动资源容器 RM有如下部件: 1. RM和客户端交互的部件 ClientRMService RM的client接口,处理client端的RPC请求,比如提交application,强制杀死application,获得Queue信息,集群metric

Yarn中ResourceManager相关三大RPC协议

        ResourceManager是Hadoop资源管理器Yarn的Master,负责资源的统一管理和调度.它与Yarn中另外三个组件协同工作,共同完成应用程序在Yarn上的资源管理与调度.通过以下这张图我们就可以看出ResourceManager在资源管理和调度中的地位和作用(ps:图片截取自董西成的<Hadoop技术内幕:深入解析YARN架构设计与实现原理>一书).         不难看出,ResourceManager居于整体体系的正中,这也印证了它是Hadoop Yarn

史无前例开放！阿里内部集群管理系统Sigma混布数据

互联网普及的20年来,尤其是近10年移动互联网.互联网+的浪潮,使互联网技术渗透到各行各业,渗透到人们生活的方方面面,这带来了互联网服务规模和数据规模的大幅增长.日益增长的服务规模和数据规模带来数据中心的急剧膨胀.在大规模的数据中心中,传统的运维方式已经不能满足规模化的需求,于是基于自动化调度的集群管理系统纷纷涌现. 这些系统往往有一个共同的目标,就是提高数据中心的机器利用率.在庞大的数据中心服务器规模下,平均利用率每提高一点,就会带来非常可观的成本节约.这一点我们可以通过一个简单的计算来感受一

wcf 报内部错误，无法处理该请求。怀疑是sql的问题

问题描述 wcf 报内部错误,无法处理该请求.怀疑是sql的问题 用.net 4.0 + mysql写WCF的事务处理例子. 不加sql相关的东西都没问题. 加上就报内部错误,而且没有详细错误,也不知道为什么,我在配置文件开了debug,并且都加try了,还是没有详细信息. 测试了好几次,就怀疑是SQL的这部分有问题,但是我还看不出哪里的问题.请教. [OperationBehavior(TransactionScopeRequired=true)] public void intoMoney(

HTML表格内部边框样式属性RULES

  通过RULES可以控制表格内部边框的样式. 基本语法 <TABLEreles="value"> 语法解释 value的取值如下表所示: 表格的内部边框样式 属性值描述 All显示所有的内部边框 Cols仅显示行边框 Groups显示介于行列间的边框 None不显示内部边框 Rows仅显示列边框 文件范例:10-13.htm 设定表格的内部边框样式. 01<!----------------------------------> 02<!--文件范例:1

main-java 子线程结束结束 内部子线程也结束 具体看代码注释

问题描述 java 子线程结束结束 内部子线程也结束 具体看代码注释 import java.util.ArrayList; import org.junit.Test; /** 代码很简单的 就是起了一个线程 然后在一个list里面放了1000个数字 然后打印以下 但是test方法 用junit起的 不能完全打印 而main可以 最终是想要使得这个test方法能和main的效果一样 * */ public class TestSub { @Test public void test() { /

系统-硬盘分区内部原理？？？？

问题描述 硬盘分区内部原理???? 一块硬盘可以分为4个主分区,而系统在其中的一个分区中,那么这个分区就需要主导扇区来引导已经分区表来确定,不同系统的分区格式有可能不一样,现在一个硬盘要把分成几个区是要用的分区表来确定吗? 解决方案 无论操作系统和文件系统是怎样的,分区表.引导记录是公认的标准.所谓硬盘可以分为4个分区已经是老皇历了,现在的PC使用UEFI固件和新的GUID分区表,可以分无数的分区. 解决方案二: 为此,可以贴两篇科普文帮你扫盲下http://wenku.baidu.com/li

Windows7提示Ping不是内部或外部命令的解决方法

  Windows7提示Ping不是内部或外部命令的解决方法 对于网络管理员来说,经常会需要使用到Ping命令,对服务器相关事项进行检查.但有时在Windows7旗舰版系统中使用Ping命令时,也会遇到不成功,提示"Ping不是内部或者外部命令"的问题,这让不少网管伤透了脑,怎么办?下面就由小编分享Windows7提示"Ping不是内外部命令"的解决技巧. 1.在"计算机"图标上右键选择"属性",在打开的计算机属性设置窗口中选