惭入佳境之布置双节点DATANODE及错误解决

先流一下口水~~~~

传说中YAHOO用于HADOOP的机房:

推荐安装指南:

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

其布置多节点的思路是:

先将第一个布置好的SINGLE节点方案弄好。

然后,将第一个节点的东东复制到另一个节点。

再将第二个节点降成DATANODE节点,而第一个节点为NAMENODE节点。

这样,就很好的实现了节点扩展。

但。。。。其实,在会产生一个小小的问题,我没有弄明白:

那是否需要重新FORMAT整个HDFS系统,还是说整个HADOOP方案在节点增加之后,啥都不用动?

因为我试着按指南重新格式化了HDFS,结果,所有的DATANODE无法正常启动了。

出错信息为:

2013-04-11 05:46:48,849 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /app/hadoop/tmp/dfs/data: namenode namespaceID = 966713409; datanode namespaceID = 1353306250

at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232)

at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147)

at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:399)

at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:309)

at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1651)

at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1590)

at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1608)

at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1734)

at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1751)

明显的,是因为格式化了HDFS两次所致。在作第一个节点时namespaceIDs并没有消失,然后,又重新弄了一次。

解决方案是将两节点的app/hadoop/tmp/下的文件全DEL之后,重新格式化一次。就OK了。

~~~~~~~~~~~

网上说的,http://stackoverflow.com/questions/3425688/why-does-the-hadoop-incompatible-namespaceids-issue-happen

Namenode generates new namespaceID every time you format HDFS. I think this is possibly to differentiate current version and previous version. You can always rollback to previous version if something is not proper which may not be possible if namespaceID is not unique for every formatted instance.

NamespaceID also connects namenode and datanodes. Datanodes bind themselves to namenode through namespaceID

每次FORMAT都会产生一个新的NAMESPACEID。

看来。。。。在第一次格式化之后,以后的节点可以直接使用?

 

时间: 2024-07-28 17:02:13

惭入佳境之布置双节点DATANODE及错误解决的相关文章

惭入佳境之HADOOP的NAMENODE不能正常启动的问题解决

注意到以下错误行不? java.io.FileNotFoundException: /app/hadoop/tmp/dfs/name/current/VERSION (Permission denied) 印象中,刚才用ROOT帐号试着启动了一下. X,我再换回HDUSER用户就不行了. 进入VERSION目录一看,原来每次启动之后,NAME目录下的属性会变成启动用户ROOT的. 于是更改回HDUSER. 一切OK.   ~~~~~~~~~~~~~~~~~~~~~~~ 2013-04-11 01

分析解决11gR2 双节点RAC环境下的gc cr block busy/gc buffer busy acquire等待

?  系统环境 两节点的RAC:AIX6.1+Oracle 11.2.0.3.3   ?  AWR里展示出来的各种症状(数据来自实例2) 虽然应用没有报障,但AWR报告里的各种迹象已经很明显了 (1)     gc buffer busy acquire排进了Top 5 Timed Foreground Events 图-1     (2)     除去DB CPU在gc buffer busy acquire之后的就是gc cr block busy了 图-2     (3)     2h21

如何在IBM AIX上构建一个双节点的IBM GPFS集群

概述 本文的目的是为在 AIX 上安装和配置一个简单的双节点 GPFS 集群提供一个分步指南.下图提供了集群配置的可视化表示形式. 图 1. 集群配置的可视化表示形式 GPFS GPFS 提供了一个真正的 "共享文件系统" 功能,具有卓越的性能和可伸缩性.GPFS 允许一组计算机通过一个公共的存储区域网络(SAN)基础架构.一个网络或混合连接类型来同时访问一组公共的文件数据.GPFS 提供了存储管理.信息生命周期管理工具和集中式管理,还允许从提供了一个全局命名空间的远程 GPFS 集群

Windows Server 2003双节点群集安装指南

在安装过程中,安装某些节点时将关闭其他节点.这个步骤有助于保证附加到共享总线的磁盘上的数据不会丢失或遭到破坏.当多个节点同时尝试写入一个未受到群集软件保护的磁盘时,可能会出现数据丢失或遭到破坏的情况.与 http://www.aliyun.com/zixun/aggregation/11208.html">Microsoft Windows 2000 系统不同,Windows 2003 Server 中新磁盘的默认装载方式有所变化.在 Windows 2003 中,系统不会自动装载那些引导

太阳能光伏发电行业将重入佳境

6月1日美国新总统特朗普宣布退出<巴黎协定>,全世界一片哗然,感觉全世界气候变化的天都要变了,但对中国的光伏发电行业来讲却真是一个重大利好.此前,中国在西方世界面前最缺乏的是软实力,是道德高点,是正面形象,也因此吃够了政治.经济亏,特朗普这一举动给了中国一个巨大的塑造形象.领导潮流的机会,也就为中国新能源产业的发展.状大提供了政治保障,将为破解.扫除新能源产业前进障碍提供巨大的推力. 中国新能源产业经过一段时间的狂飚猛进后,从前年开始进入困境,特别是在西北地区建设有大量地面光伏电站的光伏发电行

c++今天写双链表时链接错误LNK2001,代码如下(还未写完想测试一下结果没通过)

问题描述 c++今天写双链表时链接错误LNK2001,代码如下(还未写完想测试一下结果没通过) 发到贴吧上问了一次,回复较少,所以又来问一遍 代码在贴吧上http://tieba.baidu.com/f?ct=335675392&tn=baiduPostBrowser&sc=42728746794&z=2748059140#42728746794<!--

java-查看根元素中的节点报出ClassCastException错误

问题描述 查看根元素中的节点报出ClassCastException错误 程序中的n2代表NodeList,我只想查看根元素中的第一个子节点. public void ClickMe(View view){ Node rootElement=n2.item(0); NodeList child=rootElement.getChildNodes(); Node first=child.item(0); //ClassCastException error is coming whenever i

[Hadoop]Hadoop添加节点datanode

部署hadoop 和普通的datanode一样.安装jdk,ssh 修改host 和普通的datanode一样.添加namenode的ip 修改namenode的配置文件conf/slaves 添加新增节点的ip或host 在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktra

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变. 1:其实网上已经有解决办法了,这里自己脑补一下,也可以让别人看到我是怎么解决的.出现这个问题主要是和配置这个文件相关:core-site.xml: <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址