Hadoop 2.x HDFS和YARN的启动方式

一.三种启动方式介绍

方式一:逐一启动(实际生产环境中的启动方式)


  1. hadoop-daemon.sh start|stop namenode|datanode| journalnode 
  2. yarn-daemon.sh start |stop resourcemanager|nodemanager 

方式二:分开启动


  1. start-dfs.sh 
  2. start-yarn.sh 

方式三:一起启动


  1. start-all.sh 

二.脚本解读

start-dfs.sh脚本:

(1) 通过命令bin/hdfs getconf –namenodes查看namenode在那些节点上

(2) 通过ssh方式登录到远程主机,启动hadoop-deamons.sh脚本

(3) hadoop-deamon.sh脚本启动slaves.sh脚本

(4) slaves.sh脚本启动hadoop-deamon.sh脚本,再逐一启动

start-all.sh脚本:

说明:start-all.sh实际上是调用sbin/start-dfs.sh脚本和sbin/start-yarn.sh脚本

三.三种启动方式的关系

start-all.sh其实调用start-dfs.sh和start-yarn.sh

start-dfs.sh调用hadoop-deamon.sh

start-yarn.sh调用yarn-deamon.sh

如下图:

四.为什么要设置ssh协议

当执行start-dfs.sh脚本时,会调用slaves.sh脚本,通过ssh协议无密码登陆到其他节点去启动进程。

为了能自动启动远程节点的进程,需要进行免密码登录。

五.采用第二种启动方式

上面已经配置好了ssh公钥登录,接下来用第二种启动方式启动

Step1:先停止所以进程(如果已经启动)


  1. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop nodemanager 
  2. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop resourcemanager  
  3. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop datanode 
  4. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop secondarynamenode 
  5. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop namenode 

Step2:启动所以进程


  1. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh 
  2. [hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/start-yarn.sh 

本文作者:舒运

来源:51CTO

时间: 2025-01-07 15:01:18

Hadoop 2.x HDFS和YARN的启动方式的相关文章

namenode-重新启动hadoop失败 webapps/hdfs not found in CLASSPATH

问题描述 重新启动hadoop失败 webapps/hdfs not found in CLASSPATH 最近需要在16节点配置hbase 环境:hadoop2.6+zookeeper3.4.6+hbase0.98.9 ubuntu12.04 server 64bit jdk 1.8.0_11 hadoop 配置的1个namenode和15个datanode zookeeper配置的3台 hbase一个Hmaster15个HRegion 开始时配置没问题,在hbase上跑东西也没问题 需要改变

日志-求救啊!Hadoop 2.2.0 搭建集群 启动hdfs时候 namenode 启动后报空指针

问题描述 求救啊!Hadoop 2.2.0 搭建集群 启动hdfs时候 namenode 启动后报空指针 日志如下: 2015-02-07 01:01:46,610 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Error encountered requiring NN shutdown. Shutting down immediately. java.lang.NullPointerException at org.apache

hdfs升级ha,启动hbase报错

问题描述 hdfs升级ha,启动hbase报错 016-05-18 13:16:26,751 INFO [master:master2:60000-EventThread] zookeeper.ClientCnxn: EventThread shut down 2016-05-18 13:16:26,752 INFO [master:master2:60000-SendThread(master1:2181)] zookeeper.ClientCnxn: Unable to reconnect

Hadoop分布式文件系统HDFS的工作原理详述

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统.HDFS是一个高度容错性的系统,适合部署在廉价的机器上.它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用.要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统. 1.分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统. 分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储.换句话说,它们是横跨在多台计算机上的存

Java访问Hadoop分布式文件系统HDFS的配置说明_java

配置文件 m103替换为hdfs服务地址. 要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建.读取. <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <co

详解Hadoop核心架构HDFS+MapReduce+Hbase+Hive

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS.MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心. 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS.MapReduce.Hbase.Hive是如何运行,以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现.如有不足,后续及时修改. HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过M

如何把一个软件的的启动方式改为usbkey启动?

问题描述 如何把一个软件的的启动方式改为usbkey启动? usbkey启动代替手动输入密码,是不是要先写一个程序读取usbkey中的秘钥写入到磁盘,然后在修改软件的启动方式到磁盘中找秘钥?本人小白,求大神指点,比如用到什么技术,参考什么资料或者案例···跪谢!!! 解决方案 去看看JAVA加密与解密的艺术.USBKEY启动里面的安全算法用的是硬实现,如果没有用USBKEY的话,加密算法就是软实现.需要提供和USBKEY里面用到的加密算法相同的软实现的provider:这部分内容非常多,建议楼主

Oracle 数据库系统的启动方式

Oracle数据库系统管理常用的工具是svrmgrl..,启动oracle数据库系统,通常所用的是启动实例的时候不挂接数据库,等启动实例以后再用mount挂接数据库:另外一种方法是在启动实例的时候,加入mount参数,使oracle启动实例与挂接数据库形成一个连续的动作. 有以下几种启动方式: 1.startup nomount 读取init.ora文件,启动instance,即启动SGA和后台进程,这种启动只需要init.ora文件. 这种方式启动常用于修复数据库.重建控制文件.重建数据库 等

合理应用activity的启动方式优化程序内存

在Android中每个界面都是一个Activity,切换界面操作其实是多个不同Activity之间的实例化操作.在Android中Activity的启动模式决定了Activity的启动运行方式. Activity启动方式有四种,分别是: standard singleTop singleTask singleInstance 可以根据实际的需求为Activity设置对应的启动模式,从而可以避免创建大量重复的Activity等问题. 起作用的场合就是我们每次startActivity时~~~ st