HA模式下历史服务器配置

笔者的集群是 HA 模式的( HDFS 和 ResourceManager HA)。在 ” Hadoop-2.5.0-cdh5.3.2 HA 安装" 中详细讲解了关于 HA 模式的搭建,这里就不再赘述。但网上直接将关于 HA 模式下的历史服务器的配置资料却很少。

笔者在思考,如果配置在 mapred-site.xml 中就设置一台历史服务器,那么当这台机器挂了,那么能不能有另一台机器来承担历史服务器的责任,也就是笔者理想当然的 jobhistory server HA 模式。后面经过各自尝试,得出来的结论是笔者我太年轻了,概念没有搞懂,先总结如下:

  • 历史服务器是个独立的服务,其不会受到 namenode 和 resourcemanager 的 active/standby 切换所带来的影响
  • 当历史服务器突然失效了,那些日志文件依旧存在 HDFS 上。当历史服务器又恢复正常,还是能看到在历史服务器失效期间的运行日志
  • 可以很简单地把历史服务器当成是存在 HDFS 上日志文件的 Web 浏览器。当且仅当历史服务器启动后,才可以通过 Web 查看,比如 http://10.6.3.43:19888/jobhistory
  • 实际上,每台机器的 MapReduce 历史服务器的配置可以不同,当在哪台机器上执行程序时,那么所指向的历史服务器地址其实就是 mapred-site.xml 文件中 mapreduce.jobhistory.webapp.address 配置参数所指定的那台机器

所以 Hadoop HA 模式下的历史服务器配置和非 HA 模式是一样样的,如果你自作聪明(比如笔者),在 mapred-site.xml 文件中,添加了两个运行 namenode(resourcemanager) 进程的主备节点的主机名(或IP地址)。

但是真正在两台主机上同时启动历史服务器进程时,会报如下的类似错误:

INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException 
77504 Java.NET.BindException: Port in use: master52:19888 
Caused by: java.Net.BindException: Cannot assign requested address 
INFO org.apache.hadoop.service.AbstractService: Service HistoryClientService failed in state STARTED; cause: org.apache.hadoop.yarn.webapp.WebAppException: Error starting http server 
INFO org.apache.hadoop.util.ExitUtil: Exiting with status -1

原因就是端口被占用了,很明显如果不改变端口,有且仅有一个 历史服务器成功启动,且启动的那个服务器是在 mapred-site.xml 文件中设置位置最下面的那个,及后面的配置参数将覆盖前一个配置参数。就算改变端口也没卵用…

Note:以上这些是笔者一边操作,一边对比总结,有些结论未必是正确的,还请各位指正…

  参考文献http://blog.csdn.net/u011414200/article/details/50338073

时间: 2024-11-13 06:49:48

HA模式下历史服务器配置的相关文章

openvpn tun模式下客户端与内网机器通信

一.实际问题 先来介绍下目前的基本情况,如下: 1.openvpn服务器单网卡,通过硬件防火墙把openvpn服务器的1194端口映射到公网. 2.openvpn服务器所在的网段为192.168.5.1/24网段 3.openvpn客户端获得IP地址为10.8.0.1/24网段 要求10.8.0.1/24网段能访问192.168.5.1/24网段的服务器. 通过前两篇文章,可知我们现在的openvpn客户端已经可以正常连接openvpn服务器,但是还不能和公司内网的其他机器进行正常通信.如下:

Oracle的Archive Log模式下的恢复工作

oracle|恢复     学习并测试了一下Oracle数据库在开启Archive Log模式下的恢复. 系统是Win2K Server+Oracle 8.1.7. 参考了Chinaunix.net和ITPub.com网站相关资料.在此感谢给我的帮助. 注意,养成一个好的习惯非常重要.在开始恢复之前,以及恢复完成后,都要做一个系统全备份. 首先,要开启Archive Log归档日志模式 1. 关闭数据库 2. 修改initSID.ora文件.这个文件通常在$ORACLE_HOME/admin/$

互联网模式下的测试数据中心,小白也能高效构造数据

11月2日,云效第三期Work Like Alibaba系列直播开启,阿里巴巴研发效能事业部云效技术专家何卫龙,分享了<测试数据中心-互联网模式下新型的数据准备引擎>,主要解决测试过程中数据准备困难,以及如何提升数据准备效率的思路和方法. 主播简介 何卫龙:阿里巴巴技术专家.一直从事软件开发测试及系统架构设计工作,对测试工具平台的开发架构有一定的经验.目前是云效持续集成平台Amon.测试用例管理系统pivot和测试数据中心databank的技术负责人,主要负责平台的技术规划和产品建设.在此期间

微信服务号开发模式下,如何获取用户发送给服务号的信息,转给客服,再将客服回答信息转给用户?

问题描述 微信服务号开发模式下,如何获取用户发送给服务号的信息,转给客服,再将客服回答信息转给用户? 开发一个微信转接接口,需求是:微信服务号在开发者模式下,也就是有基本配置(服务器配置),获取到用户向服务号发送的信息,转接到在线客服,然后客服回答的信息在转接到用户,起到转接作用. 解决方案 收到信息后回复success或者空内容,保存微信发送的相关信息:http://mp.weixin.qq.com/wiki/1/6239b44c206cab9145b1d52c67e6c551.html 怎么

360极速模式下可用的js实现按钮点击显示隐藏控件

问题描述 360极速模式下可用的js实现按钮点击显示隐藏控件 网上找了一些都只能在兼容模式或IE模式下实现 用360极速浏览器的极速模式无法实现 求一段可以在360浏览器里生效的代码 实现点击按钮隐藏一些控件(如div)并且显示另一些控件 解决方案 解决 chrome 浏览器对 div 的 display : none 不支持 试了很久,发现在style设置display:none的时候,IE是可以的,但是chrome不行 [html] view plaincopy在CODE上查看代码片派生到我

《Windows 8 权威指南》——1.2 Windows 8平板模式下IE浏览器网页

1.2 Windows 8平板模式下IE浏览器网页 Windows 8 权威指南Windows 8中IE10浏览器有Metro模式及客户端模式可供用户选择.进入本章之前,让我们先来体验一下Metro版浏览器.Metro版本浏览器界面清爽,使用迅速快捷.简单,它没有菜单.工具栏或其他项目.Metro版浏览器打开后显示空白桌面或用户之前浏览的网页.右键单击浏览器窗口,底部会显示导航栏.地址栏.后退及前进按钮和其他选项,如图1.22所示为Metro模式下的IE10. 1.2.1 Windows 8系统

《超越需求:敏捷思维模式下的分析》目录—导读

版权超越需求:敏捷思维模式下的分析• 著 [美] Kent J. McDonald 译 霍金健 责任编辑 杨海玲 • 人民邮电出版社出版发行 北京市丰台区成寿寺路11号 邮编 100164 电子邮件 315@ptpress.com.cn 网址 http://www.ptpress.com.cn • 读者服务热线:(010)81055410 反盗版热线:(010)81055315 内容提要超越需求:敏捷思维模式下的分析项目成败的关键在于是否在"做正确的事情",而本书正是从分析的角度帮助项

一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)

1)集群规划:主机名        IP      安装的软件                     运行的进程master    192.168.199.130   jdk.hadoop                     NameNode.DFSZKFailoverController(zkfc)slaver1    192.168.199.131    jdk.hadoop                       NameNode.DFSZKFailoverController(

郎酒营销体系大调整:汪俊林创办模式成历史

郎酒集团董事长 汪俊林随着董事长汪俊林被传因李春城一案协助调查后,郎酒集团的一举一动都成为外界关注的焦点.据人民网报道,2013年1月5日,郎酒集团召开内部会议,会上宣布其营销体系将在2013年实行重大变革.而根据报道中的信息,仅是郎酒股份有限公司总经理付饶在会上发表了讲话,汪俊林本人并无任何与会迹象.此次,郎酒集团在2013年的第一次内部会上表示,其既有的"事业部+办事处"的"矩阵式营销组织结构"模式将成为历史,而以5大事业部为主体的准公司制运营模式将扛起郎酒新一