《Hadoop与大数据挖掘》一2.2.3 集群启动关闭与监控

2.2.3 集群启动关闭与监控

启动集群,只需要在master节点(NameNode服务所在节点)直接进入Hadoop安装目录,分别执行如代码清单2-16所示的命令即可。

代码清单2-16 启动Hadoop集群
cd $HADOOP_HOME     // 进入Hadoop安装目录
bin/start-dfs.sh        // 启动HDFS相关服务
bin/start-yarn.sh       // 启动YARN相关服务
bin/mr-jobhistory-daemon.sh  start  historyserver   // 启动日志相关服务

关闭集群,同样只需要在master节点(NameNode服务所在节点)直接进入Hadoop安装目录,分别执行如代码清单2-17所示的命令即可(注意关闭顺序)。

代码清单2-17 关闭Hadoop集群
cd $HADOOP_HOME // 进入Hadoop安装目录
bin/stop-yarn.sh    // 关闭YARN相关服务
bin/stop-dfs.sh // 关闭HDFS相关服务
bin/mr-jobhistory-daemon.sh  stop  historyserver // 关闭日志相关服务

Hadoop集群相关服务监控如表2-2所示,其监控示意分别如图2-17、图2-18、图2-19所示。

表2-2 Hadoop集群监控相关端口
服 务   Web接口   默 认 端 口
NameNode    http://namenode_host:port/  50070
ResourceManager http://resourcemanager_host:port/   8088
MapReduce JobHistory Server http://jobhistoryserver_host:port/  19888

时间: 2024-08-29 10:57:19

《Hadoop与大数据挖掘》一2.2.3 集群启动关闭与监控的相关文章

《Hadoop与大数据挖掘》一2.2.4 动手实践:一键式Hadoop集群启动关闭

2.2.4 动手实践:一键式Hadoop集群启动关闭 在使用Hadoop的过程中,如果每次启动Hadoop集群都需要分别执行3次命令才能启动集群,那么每次集群启动或关闭都将很繁琐.为了减少这种操作,可以编写一个脚本来控制Hadoop集群的启动与关闭,所以本实验就是完成这个功能. 实验步骤: 1)学习Linux shell命令相关代码: 2)了解Hadoop集群启动关闭流程: 3)编写集群启动关闭shell脚本: 4)测试运行.

《Hadoop与大数据挖掘》一导读

前 言 为什么要写这本书 最早提出"大数据"时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来." 早在2012年,大数据(big data)一词已经被广泛提起,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新.那时就有人预计,从2013年至2020年,全球数据规模将增长10倍,每年产生的数据量将由当

《Hadoop与大数据挖掘》——2.2 Hadoop配置及IDE配置

2.2 Hadoop配置及IDE配置 2.2.1 准备工作 上面的虚拟机参数配置只是参考,可以根据自身机器的实际情况进行调整. 在配置好Hadoop集群所需机器后,先确认下集群拓扑,本次部署采用的集群拓扑如图2-16所示. 如文中未做说明,则所有操作都是在root用户下执行.但是,在生产环节,一般不会使用root用户,这点需要注意. 2.2.2 环境配置 1.安装JDK (1)文件下载 到www.oracle.com网站上下载自己系统对应JDK版本.文件名如jdk-7u-linux-x64.ta

日志-求救啊!Hadoop 2.2.0 搭建集群 启动hdfs时候 namenode 启动后报空指针

问题描述 求救啊!Hadoop 2.2.0 搭建集群 启动hdfs时候 namenode 启动后报空指针 日志如下: 2015-02-07 01:01:46,610 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Error encountered requiring NN shutdown. Shutting down immediately. java.lang.NullPointerException at org.apache

《Hadoop与大数据挖掘》——第2章 大数据存储与运算利器—Hadoop 2.1 Hadoop概述

第2章 大数据存储与运算利器-Hadoop 本章主要介绍了Hadoop框架的概念.架构.组件.生态系统以及Hadoop相关编程,特别是针对Hadoop组件HDFS.MapReduce.YARN,Hadoop MapReduce编程做了较详细的介绍.在介绍各个知识点的同时,结合动手实践章节,帮助读者理解对应的内容. 2.1 Hadoop概述 2.1.1 Hadoop简介 随着现代社会的发展,各种信息数据存量与增量都非常大,很多情况下需要我们能够对TB级,甚至PB级数据集进行存储和快速分析,然而单机

《Hadoop与大数据挖掘》一2.1 Hadoop概述

2.1 Hadoop概述 2.1.1 Hadoop简介 随着现代社会的发展,各种信息数据存量与增量都非常大,很多情况下需要我们能够对TB级,甚至PB级数据集进行存储和快速分析,然而单机的计算机,无论是硬盘存储.网络IO.计算CPU还是内存都是非常有限的.针对这种情况,Hadoop应运而生. 那么,Hadoop是什么呢?我们可以很容易在一些比较权威的网站上找到它的定义,例如:Hadoop是一个由Apache基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情况下开发分布式程序,

《Hadoop与大数据挖掘》一1.2 大数据平台

1.2 大数据平台 大数据平台有哪些呢? 一般认为大数据平台分为两个方面,硬件平台和软件平台.硬件平台一般如Open-Stack.Amazon云平台.阿里云计算等,类似这样的平台其实做的是虚拟化,即把多台机器或一台机器虚拟化成一个资源池,然后给成千上万人用,各自租用相应的资源服务等.而软件平台则是大家经常听到的,如Hadoop.MapReduce.Spark等,也可以狭义理解为Hadoop生态圈,即把多个节点资源(可以是虚拟节点资源)进行整合,作为一个集群对外提供存储和运算分析服务. Hadoo

《Hadoop与大数据挖掘》一2.1.2 Hadoop存储—HDFS

2.1.2 Hadoop存储-HDFS Hadoop的存储系统是HDFS(Hadoop Distributed File System)分布式文件系统,对外部客户端而言,HDFS就像一个传统的分级文件系统,可以进行创建.删除.移动或重命名文件或文件夹等操作,与Linux文件系统类似. 但是,Hadoop HDFS的架构是基于一组特定的节点构建的(见图2-2),这些节点包括名称节点(NameNode,仅一个),它在 HDFS 内部提供元数据服务:第二名称节点(Secondary NameNode)

《Hadoop与大数据挖掘》一2.1.4 Hadoop资源管理—YARN

2.1.4 Hadoop资源管理-YARN 在上一节中我们看到,当MapReduce发展到2.x时就不使用JobTracker来作为自己的资源管理框架,而选择使用YARN.这里需要说明的是,如果使用JobTracker来作为Hadoop集群的资源管理框架的话,那么除了MapReduce任务以外,不能够运行其他任务.也就是说,如果我们集群的MapReduce任务并没有那么饱满的话,集群资源等于是白白浪费的.所以提出了另外的一个资源管理架构YARN(Yet Another Resource Mana