hadoop2.7.0 统计字符数量,报“The auxService:mapreduce_shuffle does not exist”异常

问题描述

下面内容是我执行命令输出的内容:-----------------------------------------------------------------------------[root@ikaixin01hadoop-2.7.0]#hadoopjar/cloud/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jarwordcount/words/countJavaHotSpot(TM)ClientVMwarning:Youhaveloadedlibrary/cloud/hadoop-2.7.0/lib/native/libhadoop.so.1.0.0whichmighthavedisabledstackguard.TheVMwilltrytofixthestackguardnow.It'shighlyrecommendedthatyoufixthelibrarywith'execstack-c<libfile>',orlinkitwith'-znoexecstack'.15/06/0202:19:13WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable15/06/0202:19:14INFOclient.RMProxy:ConnectingtoResourceManageratikaixin01/192.168.137.88:803215/06/0202:19:16INFOinput.FileInputFormat:Totalinputpathstoprocess:115/06/0202:19:16INFOmapreduce.JobSubmitter:numberofsplits:115/06/0202:19:16INFOmapreduce.JobSubmitter:Submittingtokensforjob:job_1433170139587_000515/06/0202:19:17INFOimpl.YarnClientImpl:Submittedapplicationapplication_1433170139587_000515/06/0202:19:17INFOmapreduce.Job:Theurltotrackthejob:http://ikaixin01:8088/proxy/application_1433170139587_0005/15/06/0202:19:17INFOmapreduce.Job:Runningjob:job_1433170139587_000515/06/0202:19:28INFOmapreduce.Job:Jobjob_1433170139587_0005runninginubermode:false15/06/0202:19:28INFOmapreduce.Job:map0%reduce0%15/06/0202:19:29INFOmapreduce.Job:TaskId:attempt_1433170139587_0005_m_000000_0,Status:FAILEDContainerlaunchfailedforcontainer_1433170139587_0005_01_000002:org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistatsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod)atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)atsun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)atjava.lang.reflect.Constructor.newInstance(Constructor.java:526)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)atorg.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)atorg.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:375)atjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)atjava.lang.Thread.run(Thread.java:745)15/06/0202:19:31INFOmapreduce.Job:TaskId:attempt_1433170139587_0005_m_000000_1,Status:FAILEDContainerlaunchfailedforcontainer_1433170139587_0005_01_000003:org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistatsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod)atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)atsun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)atjava.lang.reflect.Constructor.newInstance(Constructor.java:526)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)atorg.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)atorg.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:375)atjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)atjava.lang.Thread.run(Thread.java:745)15/06/0202:19:33INFOmapreduce.Job:TaskId:attempt_1433170139587_0005_m_000000_2,Status:FAILEDContainerlaunchfailedforcontainer_1433170139587_0005_01_000004:org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistatsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod)atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)atsun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)atjava.lang.reflect.Constructor.newInstance(Constructor.java:526)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)atorg.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)atorg.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:375)atjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)atjava.lang.Thread.run(Thread.java:745)15/06/0202:19:37INFOmapreduce.Job:map100%reduce100%15/06/0202:19:38INFOmapreduce.Job:Jobjob_1433170139587_0005failedwithstateFAILEDdueto:Taskfailedtask_1433170139587_0005_m_000000Jobfailedastasksfailed.failedMaps:1failedReduces:015/06/0202:19:38INFOmapreduce.Job:Counters:4JobCountersOtherlocalmaptasks=3Data-localmaptasks=1Totaltimespentbyallmapsinoccupiedslots(ms)=0Totaltimespentbyallreducesinoccupiedslots(ms)=0[root@ikaixin01hadoop-2.7.0]#------------------------------------------------------网上查,都描述的是yarn-site.xml缺少了aux-service的配置。我的配置:<property><name>yarn.nodemanager.aux-service</name><value>mapreduce_shuffle</value></property>麻烦大拿们帮忙看看是什么问题导致。

解决方案

解决方案二:
<name>yarn.nodemanager.aux-service</name>这个写错了,应该是:<name>yarn.nodemanager.aux-services</name>编码要认真啊。
解决方案三:
编码要认真啊。
解决方案四:
谢谢分享..........
解决方案五:
大神,我的配置没问题,也出现这个错误,请教。。。。
解决方案六:

解决方案七:
请问大神你是如何配置好的,我用之前旧的版本的搭建方式换到hadoop2.7上,各种不成功呢。请问主要要配置哪些文件?求解。。。。
解决方案八:
请问楼主你在修改yarn配置之后再怎么做呢,直接又运行一次hadoopjar/cloud/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jarwordcount/words/count呢,还是需要再重新格式阿虎集群呢

时间: 2024-07-30 17:36:00

hadoop2.7.0 统计字符数量,报“The auxService:mapreduce_shuffle does not exist”异常的相关文章

hive查询报错-hive0.9.0+hbase0.96.2+hadoop2.2.0整合执行查询hql报错如下

问题描述 hive0.9.0+hbase0.96.2+hadoop2.2.0整合执行查询hql报错如下 hive> select * from hbasehive_table; OK Exception in thread "main" java.lang.InstantiationError: org.apache.hadoop.mapreduce.JobContext at org.apache.hadoop.hive.shims.Hadoop20SShims.newJobC

据统计,直报企业自有配送中心数量同比增长8.4%

摘要: 据统计,直报企业自有配送中心数量同比增长8.4%,自有配送中心仓储面积同比增长9.9%.一些最新物联网技术和高位货架.PTL(Pickingtolight-电子标签拣货系统).自动分拣系统等高科技 据统计,直报企业自有配送中心数量同比增长8.4%,自有配送中心仓储面积同比增长9.9%.一些最新物联网技术和高位货架.PTL(Pickingtolight-电子标签拣货系统).自动分拣系统等高科技产品得到广泛应用. 另外,以中国医药集团总公司.华润医药商业集团公司.上海医药集团股份有限公司.九

Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

25.集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager 25.1.2服务器准备 本案例使用虚拟机服务器来搭建HADOOP集群,所用软件及版本: ü Vmware 11.

统计某个路径下所有的java文件,以及统计代码数量

这个是我哥们遇到的一个面试题. 要求统计某个文件夹下,所有Java文件的数量,并且统计代码数量. Java文件中,所有的注视都是以//,没有/**/,空行不计入代码数量. 这个面试题,里面有这样几个难点, 1.遍历文件夹,因为文件夹下可能还有文件夹. 2.读取文件,判断代码行,注释行,和空行. 3.写入文件. 其实主要的都是对文件的操作. 代码可以直接复制运行,代码如下: package com; import java.io.BufferedReader; import java.io.Fil

在WordPress中使用wp_count_posts函数来统计文章数量_php技巧

做一个全站统计是不是很酷?长久的博客越来越少,何不给自己的一个统计,看看自己在这个博客上努力了多少,不但给自己也给游客,wp_count_posts是在 WordPress 中用来统计文章数量的函数,可以统计所有类型的文章(post)和页面(page). 描述wp_count_posts是在 WordPress 中用来统计文章数量的函数,可以统计所有类型的文章(post)和页面(page). 使用 //获取文章数量 $postcount = wp_count_posts(); //获取页面数量

C语言统计字符个数代码分享_C 语言

C语言实现统计字符个数 #include<stdio.h> int main() { int sz[10]={0},zm[26]={0},z[26]={0},i,space=0,e=0,t=0; char c; printf("请输入一段字符,统计其中各字符的数量\n"); while((c=getchar())!='\n') { if(c<='z'&&c>='a') zm[c-'a']++; else if(c<='Z'&&

求大神指点 急急急-《统计字符数》但是运行不了??

问题描述 <统计字符数>但是运行不了?? #include using namespace std; int main() { int cases,sum[26],i,max; char str; cin>>cases; while(cases>0) { for(i=0;i { sum[i]=0; } while((str=getchar())!='/n') { sum[str-'a']++; } max=0; for(i=1;i { if(sum[i]>sum[max

PHP递归遍历指定目录的文件并统计文件数量的方法

 这篇文章主要介绍了PHP递归遍历指定目录的文件并统计文件数量的方法,涉及php文件及目录操作的技巧,非常具有实用价值,需要的朋友可以参考下     本文实例讲述了PHP递归遍历指定目录的文件并统计文件数量的方法.分享给大家供大家参考.具体实现方法如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 <?php //递归函数实现遍历指定文件下的目录与文件数量 function total($di

jQuery实现限制textarea文本框输入字符数量的方法

  本文实例讲述了jQuery实现限制textarea文本框输入字符数量的方法.分享给大家供大家参考.具体实现方法如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 (function($) { $.fn.extend( { limiter: function(limit, elem) { $(this).on("keyup focus", function() { setCount(this, elem); }