Hadoop的坑——无法启动namenode

最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动

每次开机都得重新格式化一下namenode才可以

其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失

于是我们得重新配置一个tmp文件目录

首先在home目录下建立一个hadoop_tmp目录

sudo mkdir ~/hadoop_tmp

然后修改Hadoop/conf目录里面的core-site.xml文件,加入以下节点:

hadoop.tmp.dir

/home/chjzh/hadoop_tmp

A base for other temporary directories.

注意:我的用户是chjzh所以目录是/home/chjzh/hadoop_tmp

OK了,重新格式化Namenode

hadoop namenode -format

然后启动hadoop

start-all.sh

执行下JPS命令就可以看到NameNode了

时间: 2024-11-18 06:40:02

Hadoop的坑——无法启动namenode的相关文章

hadoop配置zookeeper,启动的时候namenode节点日志有异常

问题描述 hadoop配置zookeeper,启动的时候namenode节点日志有异常 hadoop搭建zookeeper,启动都正常,日志也没有报错,上传文件都好使,但是namenode有一个异常 2015-12-31 22:49:58,753 WARN org.apache.hadoop.hdfs.server.namenode.FSEditLog: Unable to determine input streams from QJM to [192.168.254.12:8485, 192

hadoop中datanode无法启动,报Caused by: java.net.NoRouteToHostException: No route to host

今天把hadoop环境给搭起来了,在master上面启动hadoop后,jps查看进程,SecondaryNameNode NameNode Jps DataNode JobTracker TaskTracker都没问题.但是去http://master:50070/dfshealth.jsp查 看,live nodes为0.所以我到slave1和slave2上面去执行jps查看进程,结果都没有datanode进程,也就是说datanode没有启动成 功,所以我就到logs里面去执行less h

hadoop错误,重新格式化namenode后,出现java.io.IOException Incompatible clusterIDs

错误:     java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clusterID = CID-ff0faa40-2940-4838-b321-98272eb0dee3 原因:     每次namenode format会重新创建一个namenodeId,而data目录包含了

hadoop 安装配置启动

1. Ubuntu12.04基本设置        1) 设置与Windows共享(通过hgfs)    2) 设置root密码       sudo passwd root    3) 设置root登录       vim /etc/lightdm/lightdm.conf       在最后添加一行:greeter-show-manual-login=true    3) #adduser test         #passwd test       #mkdir -p /home/tes

【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程,实现NameNode HA、ResourceManager HA高可靠性

最近在自己的笔记本电脑上搭建了Apache Hadoop分布式集群,采用了最新的稳定版本2.8,并配置了NameNode.ResourceManager的HA高可用,方便日常对Hadoop的研究与测试工作.详细的搭建过程如下: 1.安装docker,创建docker容器,用于搭建hadoop节点 docker真是个好东西啊,当要在自己的笔记本上搭建分布式集群时,由于CPU.内存.磁盘有限,无法在VMware上虚拟出太多节点,这时使用docker创建几个容器,就能轻松搭建一个分布式集群了. (1)

namenode-重新启动hadoop失败 webapps/hdfs not found in CLASSPATH

问题描述 重新启动hadoop失败 webapps/hdfs not found in CLASSPATH 最近需要在16节点配置hbase 环境:hadoop2.6+zookeeper3.4.6+hbase0.98.9 ubuntu12.04 server 64bit jdk 1.8.0_11 hadoop 配置的1个namenode和15个datanode zookeeper配置的3台 hbase一个Hmaster15个HRegion 开始时配置没问题,在hbase上跑东西也没问题 需要改变

《Hadoop集群与安全》一2.2 设置NameNode

2.2 设置NameNode 在本节中,我们将一步一步对NameNode服务进行安装以及基本配置,其中包括高可用方案的构建.网络上许多指导和教程将NameNode高可用方案作为一项高级内容,而我们在最初就将重点放在NameNode高可用方案的设置上.原因是在Hadoop构建中NameNode扮演着重要的角色.从根本上说,NameNode是Hadoop集群中的一块短板.如果没有该项服务,用户就无法访问Hadoop分布式文件系统(HDFS). 我们有多种方法对NameNode高可用方案进行设置.在C

hadoop hbase-hmaster 启动以后自动关闭,快疯了。

问题描述 hmaster 启动以后自动关闭,快疯了. 先启动hadoop , 2739 JobHistoryServer 2454 NameNode 2630 NodeManager 5019 Jps 2508 DataNode 2573 ResourceManager 2685 ApplicationHistoryServer 再启动hbase hmaster 启动以后,马上就自动关闭了,什么方法都试过了就是不行.疯快了 hadoop 重装,hbase 重装能想的招都使了,就是不行 at or

集群-hadoop secondarynamenode未启动求助

问题描述 hadoop secondarynamenode未启动求助 本人搭建了hadoop集群,一个namenode ,两个datanode,启动后namenode和resource manger进程都启动了,但secondarynamenode未启动什么原因,两个datanode的datanode和nodemanager进程也都启动了,能正常的上传文件和下载文件,在hdsf-site配置中也配置了secondarynamenode.求助...另外stop hadoop的时候,datanode