win7下eclipse上交Mapreduce会报错

问题描述

代码为Configurationconf=newConfiguration();Jobjob=newJob(conf,"wordcount");conf.set("fs.defaultFS","hdfs://192.168.117.128:8020/");conf.set("hadoop.job.ugi","root");conf.set("mapred.job.tracker","192.168.117.128:8021");PathinputPath=newPath("/input/FB_Bank_Comments_abi_required_original.txt");PathoutputPath=newPath("/output/wordcount"+System.currentTimeMillis());job.setJobName("wordcount_analysis");job.setJarByClass(Map.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);job.setMapperClass(Map.class);job.setReducerClass(Reduce.class);job.setInputFormatClass(TextInputFormat.class);job.setOutputFormatClass(TextOutputFormat.class);FileInputFormat.addInputPath(job,inputPath);FileOutputFormat.setOutputPath(job,outputPath);job.waitForCompletion(true);老是有这个错误,把程序达成jar包,在Linuxmaster节点上直接运行是没有错的Exceptioninthread"main"java.lang.NullPointerExceptionatjava.lang.ProcessBuilder.start(UnknownSource)atorg.apache.hadoop.util.Shell.runCommand(Shell.java:404)atorg.apache.hadoop.util.Shell.run(Shell.java:379)atorg.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)atorg.apache.hadoop.util.Shell.execCommand(Shell.java:678)atorg.apache.hadoop.util.Shell.execCommand(Shell.java:661)atorg.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:639)atorg.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:435)atorg.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:277)atorg.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125)atorg.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:344)atorg.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)atorg.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)atjava.security.AccessController.doPrivileged(NativeMethod)atjavax.security.auth.Subject.doAs(UnknownSource)atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)atorg.apache.hadoop.mapreduce.Job.submit(Job.java:1265)atorg.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1286)atorg.myorg.WordCount.main(WordCount.java:69)[/code]

解决方案

解决方案二:
解决了么?..我也是这个问题,求lz告诉解决办法
解决方案三:
同样这个问题没解决,是不是hadoop2.2插件不兼容呀?
解决方案四:
我起初是从网上下的hadoop-eclipse插件,出这个问题,后来用ant自己编译了一个插件,还是这个问题......但是插件我是在用eclipsesdkforlinux-4.3.1编译的,win下的eclipse是juno版本,是eclipse版本的问题么?..我按资料一步一步下来还是这个问题..头疼解决ing.....╮(╯▽╰)╭
解决方案五:
你好,我也是这个问题,请问你是怎么解决的啊?!!
解决方案六:
换了linux的机子,在用eclipse后就没有这个问题了
解决方案七:
用linux机器没问题,就是换成windows就不行,也同样出现这个问题
解决方案八:
MacOSX10.9.3eclipseVersion:KeplerServiceRelease2Buildid:20140224-0627下相同问题但是很奇怪的是居然跑成功了一次!就一次!还不知道怎么跑出来的……
解决方案九:
引用7楼huoqi12的回复:

MacOSX10.9.3eclipseVersion:KeplerServiceRelease2Buildid:20140224-0627下相同问题但是很奇怪的是居然跑成功了一次!就一次!还不知道怎么跑出来的……

我的以解决,虽然都是NullPointerException错误,但是我的错在org.apache.hadoop.mapreduce.lib.input.FileInputFormat,回查原来输入只有路径,忘了把文件名也写上了……

时间: 2024-10-30 13:48:35

win7下eclipse上交Mapreduce会报错的相关文章

win7 64位下 excel 连接odbc 数据源报错,32位下可以正常

问题描述 win7 64位下 excel 连接odbc 数据源报错,32位下可以正常 odbc数据源32位 excel 32位 配置的odbc数据源如图所示 在excel中 连接到odbc数据源 这种错误怎么解决 解决方案 你选错驱动了,这是Oracle的驱动,不是Access的. 解决方案二: WIN7 64位 ODBC连接Oracle 32位报错问题

windows eclipse 下开发hadoop mapreduce,报空指针异常。

问题描述 windows eclipse 下开发hadoop mapreduce,报空指针异常. 用三台ubuntu系统的服务器,搭建了hadoop集群,然后在windows下 用eclipse开发mapreduce,能连上hadoop,也能显示hdsf上的文件.自己写了mapreduce程序,run as hadoop 的时候,报空指针异常,什么localjob 之类的错误,什么原因求指点, 将工程打成jar包在linux hadoop环境用命令行运行是没问题的..

请帮忙-在Eclipse中安装插件报错

问题描述 在Eclipse中安装插件报错 Eclipse 安装Activti Ddesigner报错.怎么解决啊 解决方案 Eclipse安装ADT插件报错Eclipse安装ADT插件报错关于eclipse(64位)下aptana插件安装报错问题解决 解决方案二: http://blog.csdn.net/cwz825409741/article/details/46288647

eclipse-window系统下开发hadoop2.2出现报错

问题描述 window系统下开发hadoop2.2出现报错 Exception in thread "main" java.io.IOException: Cannot run program "E:hadoop-2.4.0binwinutils.exe": CreateProcess error=216, ?????? %1 ??Ч??????????????? at java.lang.ProcessBuilder.start(Unknown Source) a

window下连接hadoop集群报错

问题描述 window下连接hadoop集群报错 window下连接hadoop集群报错,已经把hadoop.dll放在window下的hadoop的bin目录了,system32也放了,还是无效,请问怎么办?? 解决方案 这是异常了吧,调用有问题.对应hadoop安装好了没 解决方案二: http://www.cnblogs.com/heyonggang/archive/2012/12/21/2827838.html 解决方案三: window下连接hadoop集群基础超详细版Window下使

eclipse导入appcompat项目报错解决办法

eclipse导入appcompat项目报错解决办法 我们在eclipse导入开源项目后,经常会发现找不到类似Theme.AppCompat.Light.DarkActionBar的style,解决办法也比较简单,就是导入com.android.support:appcompat-v7包,不过又两点需要注意: 不能只导入appcompat-v7.jar包,而是要导入appcompat-v7项目 因为这个项目包含有资源文件,只导入jar包没有效果,这个项目地址是在: -\android-sdk\e

服务器-eclipse启动tomcat没报错,浏览器访问http://localhost:8080/是404

问题描述 eclipse启动tomcat没报错,浏览器访问http://localhost:8080/是404 怎么解决,谢谢 解决方案 可能是tomcat的欢迎页面被删除了. 解决方案二: eclipse启动tomcat 访问http://localhost:8080 报404错误eclipse启动tomcat 访问http://localhost:8080 报404错误eclipse启动tomcat 访问http://localhost:8080 报404错误 解决方案三: 工程部署到Roo

linux myeclipsce-linux下安装myeclipsce内存不足报错

问题描述 linux下安装myeclipsce内存不足报错 我的4g内存 装个myeclipsce10.6应该没问题吧 咋解决呢? 在线等 解决方案 新手 在线等 谢谢几位大哥啦 解决方案二: 把你编译安装的过程发一下啊 这怎么能解决问题,问问题要说清楚的

数据-我的matlsb版本是2014版的,运行下面的m程序会报错

问题描述 我的matlsb版本是2014版的,运行下面的m程序会报错 %N是数据一共分为多少类 %data是输入的不带分类标号的数据 %u是每一类的中心 %re是返回带标号的数据 function [u, re]=kmeans(data ,N) [m, n]=size(data); %m是数据个数,n是数据维数 ma=zeros(n);%每一维最大的数 mi=zeros(n);%每一维最小的数 u=zeros(N,n);%随机初始化,最终迭代到每一类的中心位置 for i=1:n ma(i)=m