问题描述

hadoop2.5.1在win7下开发报通信错误

集群环境是centos6.2，2master，4slave。
在集群上跑example.jar测试通过，管理页面显示所有节点正常。jps显示正常。
但在win7下建立用eclipse安装csdn下载的插件显示update错误，不过可以连接上hadoop集群，正常显示hdfs。
使用example里面的wordcount.java，照博客 http://www.cnblogs.com/huligong1234/p/4137133.html 的方法运行后显示可以连接上master但不能连接slave：

WARN - Failed to connect to /192.168.11.94:50010 for block, add to deadNodes and continue. java.net.ConnectException: Connection timed out: no further information
java.net.ConnectException: Connection timed out: no further information
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)。。。

4个slave都显示通信超时。不知道有人知道是怎么回事吗？？

解决方案

我在任务管理页面master:8088下查看发现没有任务提交的记录，最后发现任务是跑在本地的，那样当然就报错了。
我在程序里增加conf.set("mapreduce.framework.name", "yarn");

conf.set("yarn.resourcemanager.address", "master2:8032");

管理页面显示有程序运行了，通信错误也没了。这个错误竟然是因为win7下用eclipse跑MR程序跑在了本地

只不过。。报了新的错误。。

解决方案二：

不知道有人知道是怎么回事吗？

解决方案三：

不知道是不是csdn插件的问题，网络超时的问题，可以抓包分析一下，看包是否发过去了