mapreduce程序本地模式调试

1.材料

无jar版windows平台hadoop-2.6.1.zip

eclipse

解压

2 .配置环境变量

3.本地模式操作本地文件

conf.set("mapreduce.framework.name", "local");
conf.set("fs.defaultFS","file:///");

运行参数

结果跑成功了

4.本地模式操作hdfs文件

conf.set("mapreduce.framework.name", "local");
System.setProperty("HADOOP_USER_NAME", "hadoop");
conf.set("fs.defaultFS","hdfs://hadoop01:9000");

结果跑成功了

4.1错误org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, inode="/wordcount":hadoop:supergroup:drwxr-xr-x

没加System.setProperty("HADOOP_USER_NAME", "hadoop");

4.2Exception in thread "main" java.lang.IllegalArgumentException: Pathname /c:/wordcount/output6666 from hdfs://hadoop01:9000/c:/wordcount/output6666 is not a valid DFS filename

你用的是本地HDFS文件,却写成了本地的路径,解决办法:控制台输入参数换成hdfs 文件的路径 5 .本地运行模式总结

(1)mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行

(2)而处理的数据及输出结果可以在本地文件系统,也可以在hdfs上

(3)怎样实现本地运行?写一个程序,不要带集群的配置文件(本质是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数)

(4)本地模式非常便于进行业务逻辑的debug,只要在eclipse中打断点即可

如果在windows下想运行本地模式来测试程序逻辑,需要在windows中配置环境变量:

%HADOOP_HOME% = d:/hadoop-2.6.1

%PATH% = %HADOOP_HOME%\bin

并且要将d:/hadoop-2.6.1的lib和bin目录替换成windows平台编译的版本

时间: 2024-11-13 07:53:53

mapreduce程序本地模式调试的相关文章

如何在eclipse调试mapreduce程序

     如何在eclipse或myeclipse调试mapreduce程序,这个可能是初学mr程序者碰到的一个难题 在hadoop1.2.1后,在下载的源代码中找不到hadoop-eclipse-plugin相关的jar或源代码. 其实hadoop目前使用maven进行源代码的管理与调试,可以参考文献: http://blog.cloudera.com/blog/2012/08/developing-cdh-applications-with-maven-and-eclipse/ A samp

代理程序本地执行或调试都没有问题,自动跑后总是报错“Type Mismatch”.CDAT函数使用时报错.

问题描述 代理程序本地执行或调试都没有问题,自动跑后总是报错"TypeMismatch".已经确定是CDAT函数使用问题.doc.GetItemValue("K_AgentTime")(0)的值为"2011/7/1902:30:02AM"代码如下,哪位高手帮忙看看.SubInitializeadmin="-----"REMdefineobjectDimsessionAsNewNotesSessionDimdbAsNotesDa

运行mapreduce程序时报错

问题描述 运行mapreduce程序时报错 运行mapreduce程序时报错:java.net.URLClassLoader$1.run(URLClassLoader.java:202) 解决方案 http://www.oschina.net/question/2610536_2149372 解决方案二: 打包运行自己的MapReduce程序Debug调试运行正常,但在Release模式下退出程序时报错Debug调试运行正常,但在Release模式下退出程序时报错

java-Eclipse里如何debug跟踪MapReduce程序到hadoop源码里?

问题描述 Eclipse里如何debug跟踪MapReduce程序到hadoop源码里? 我本地一台机子起了 4504 ResourceManager 4066 DataNode 4761 NodeManager 5068 JobHistoryServer 4357 SecondaryNameNode 3833 NameNode 5127 Jps 在hadoop-env.sh里设置了HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_

使用Python实现Hadoop MapReduce程序

转自:使用Python实现Hadoop MapReduce程序 英文原文:Writing an Hadoop MapReduce Program in Python 根据上面两篇文章,下面是我在自己的ubuntu上的运行过程.文字基本采用博文使用Python实现Hadoop MapReduce程序,  打字很浪费时间滴.  在这个实例中,我将会向大家介绍如何使用Python 为 Hadoop编写一个简单的MapReduce程序. 尽管Hadoop 框架是使用Java编写的但是我们仍然需要使用像C

U极速本地模式怎么使用

U极速本地模式主要的优势特点及其应用: 1.手边没有现成的U盘可用,又想使用U极速U盘启动. 2.电脑系统崩溃,系统盘中的重要资料需要备份导出. 3.电脑硬盘引导出现问题,无法正常引导进系统. 4.多系统引导混乱,U极速本地模式一键搞定. 5.U极速U盘启动制作程序无需随时携带. 6.启动引导支持热键启动和密码保护. 7.通过本地模式来备份还原系统. U极速本地模式安装使用教程 1.首先需要下载并安装好U极速U盘启动盘制作工具,接着打开软件,在模式选择中找到并点击"本地模式"进行模式切

Spark本地模式运行

Spark的安装分为几种模式,其中一种是本地运行模式,只需要在单节点上解压即可运行,这种模式不需要依赖Hadoop 环境.在本地运行模式中,master和worker都运行在一个jvm进程中,通过该模式,可以快速的测试Spark的功能. 下载 Spark 下载地址为http://spark.apache.org/downloads.html,根据页面提示选择一个合适的版本下载,这里我下载的是 spark-1.3.0-bin-cdh4.tgz.下载之后解压: cd ~ wget http://mi

directx-DirectX10程序Debug模式下运行报错,Release模式运行正常一般是什么原因?

问题描述 DirectX10程序Debug模式下运行报错,Release模式运行正常一般是什么原因? 1.两种模式下,编译都没问题.2.运行Debug模式下报错,信息如下:Release模式下运行截图 附:进行了多次试验,Release总是运行正常,而Debug模式基本上都是运行出错,报错信息也是同一个(如上图),但偶尔的小概率能运行(大概百分之一二,这个概率是不确定的,只是我碰巧有一两次正常运行了)遍查了代码,发现不了问题.希望各位能够说说一般情况下可能是什么原因引起的. 解决方案 0xFFF

[Hadoop系列]Hadoop的安装-1.本地模式

inkfish原创,请勿商业性质转载,转载请注明来源(http://blog.csdn.net/inkfish ). Hadoop是Apache基金会下的一个开源云计算平台项目.当前最新版本是hadoop 0.20.1.下面就hadoop 0.20.1为蓝本,介绍在Ubuntu Linux 9.10下安装hadoop的方法.(来源:http://blog.csdn.net/inkfish) 支持的平台:(来源:http://blog.csdn.net/inkfish) Linux,可作为开发和产