Hadoop datanode重新加载失败无法启动解决

   笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。

  本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。

  而第二次的错误原因与首次启动的有一些区别,排错重点应该集中在程序在运行中的一些动态加载而生成的文件上,笔者要讨论的是第二种情况:

  大多原因就是因为hadoop的datanode的VERSION文件中的namespaceID与namenode中的VERSION文件中的namespaceID二者出现不一致的情况。而namespaceID的生成笔者推断应该是在执行:hdfs namenode -format 这个命令的时候生成的。

  解决步骤如下:

  1,首先停掉namenode上相关的进程:切换到hadoop的/sbin目录下:

  sh stop-dfs.sh

  sh stop-yarn.sh

  2,切换到hadoop的相应/current目录下将current下的所有文件清除。

  3,将datanode与namenode的/current 下VERSION等相应文件文件清除后,回到namenode上,执行hsfs namenode -format命令,接着切换到namenode的hadoop的/sbin目录下:

  执行sh start-dfs.sh

  sh start-yarn.sh

  (旧版本的mapre 被新版本的yarn所替代,命令上多少有些不同)

  既可以看到相应的节点成功加载。

  相应的思想就是,当出错时,清除掉一切干扰思路的文件,然后整理思绪,重新开始,这样要远比在原地徘徊要好。

  (由于我们在配置文件中指明的文件夹只有 hdfs tmp log,所以其余的文件也好文件夹也好都是动态执行脚本生成创建的,删除之后只要hadoop整个系统可以工作就会生成,即便错删,VM的 snapshot 也会拯救这个世界。)

时间: 2024-09-11 16:55:41

Hadoop datanode重新加载失败无法启动解决的相关文章

Hadoop datanode重新加载失败无法启动现象解决方法介绍

本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动.首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成   笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况. 本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动.首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的

Win7启动项太多导致加载失败怎么解决

  win7系统启动项太多导致加载失败改如何解决,下面就为大家分享下解决方法. 方法一.系统设置 如果是由于系统设置问题,可对系统的开机启动项进行设定,用户可根据自己的需要设置哪些启动项不需要加载,哪些启动项可以加载. 方法二.系统账户 系统的默认账户都是Admin账户,一些用户可能会选择使用其他账户来登录,再安装的一些程序就无法开机自动启动,也就是出现启动项加载失败.

win7系统启动项太多导致加载失败怎么办?

win7系统启动项太多导致加载失败怎么办?   方案一.系统设置 如果是由于系统设置中有问题,可对Win7系统的开机启动项进行设定,用户可根据自己的需要设置哪些启动项不需要加载,哪些启动项可以加载. 方案二.系统账户 1.系统的默认账户都是Admin账户,在使用Win7系统过程中,一些用户可能会选择使用其他账户来登录,再安装的一些程序就无法开机自动启动,也就是出现启动项加载失败. 2.开机启动项加载失败主要是由于系统设置与系统账户问题,遇到加载失败的问题时,可按照以上两种方案来修复,或是对启动项

app-Android项目运行后在虚拟器加载失败的问题

问题描述 Android项目运行后在虚拟器加载失败的问题 跟着<第一行代码>里的那个天气app敲的代码,敲了一部分,运行项目时在虚拟器中加载失败,代码应该没有什么问题,也没什么错误提示: [2015-08-11 10:41:35 - CoolWeather] Android Launch! [2015-08-11 10:41:35 - CoolWeather] adb is running normally. [2015-08-11 10:41:35 - CoolWeather] Perfor

水晶报表加载失败的疑问?

问题描述 系统在刚启动不久,可以正常打印报表,但如果报表打印3.次以后,再想打印时便提示"报表加载失败".当把机器重启就又可以打印了.是不是内存释放问题啊?部分代码如下:ReportDocumentTermObjectsReport=newReportDocument();stringreportPath;reportPath=Server.MapPath("~/Reports/TrainingTerm_StudentRegistration_Graser.rpt"

wwjod.dll加载失败,win32.troj.mnless.82432的清除方法_病毒查杀

每次启动机器就会提示,c:\windows\system32\wwjod.dll加载失败,拒绝访问. 使用sreng,启动项目-win32服务和应用程序删除 [KLJS_Server / KLJS][Stopped/Disabled]   <><N/A> 驱动程序删除 [ragq / ragqm][Running/Boot Start]   <\SystemRoot\System32\DRIVERS\ragqm.sys> 系统修复-浏览器加载项删除 [apronA Cl

jpa-JPA 关系对象映射 @ManyToOne lazy加载 失败。

问题描述 JPA 关系对象映射 @ManyToOne lazy加载 失败. 各位大神们: 小弟技术不深,在使用单向ManyToOne映射时,遇到了问题,希望各位大神们不吝赐教. 我的关系对象映射如下: 购物车与商品的映射: 商品与类别的映射: ![图片说明](http://img.ask.csdn.net/upload/201503/19/1426729467_987764.png) 我的查询语句: ![图片说明](http://img.ask.csdn.net/upload/201503/19

图片加载失败,所导致的浏览器兼容问题

网站当中经常会遇到图片加载失败的问题,img中有地址,但是地址打开是错误的.情况如下: 不同浏览器处理错误图片是不一样的,有的干脆就显示差号,例如IE,有的显示一张破碎的图片,有的则是给一张高度比较大的默认图,例如PC端的火狐,IOS中Safari,还有安卓中的UC浏览器.这样在手机中就会导致左右两侧图片高度不一致!如下图: 解决方案 其实这里解决很简单,判断当图片加载失败的时候给一个默认图就可以了,不让浏览器使用其自带的默认图. <img src=http://www.aseoe.com/&quo

邮箱css加载失败怎么办

  故障分析:造成css加载失败的原因有很多,学无忧也遇到过,这可能跟你代码出错,浏览器.路径.编码等等都是有关联的.所以在具体情况具体分析.下面看看具体的佳佳方案. 一.网站代码本身问题. js或css路径.先检查一下你的语法有没有错误.三种方式的使用如果你写的代码没有错误的法应该不会加载错误.可以请专业人士帮你查看分析下代码. 二.路径问题 如果只是在本地进行代码编写和测试出现css价值失败,那么可能是你的保存路径所导致,这个相对路径和绝对路径脱离不了关系.所以检查好你的网站路径恢复即可解决