hadoop mapreduce-mapreduce 求平均数出现错误

问题描述

mapreduce 求平均数出现错误: WARN mapred.JobClient: Error reading task outputSlave1.hadoop
15/08/31 14:18:03 WARN mapred.JobClient: Error reading task outputSlave1.hadoop
15/08/31 14:18:04 INFO mapred.JobClient: Task Id : attempt_201508311326_0003_m_000001_0, Status : FAILED
java.util.NoSuchElementException
at java.util.StringTokenizer.nextToken(StringTokenizer.java:332)
at com.hebut.mr.Score$Map.map(Score.java:37)
at com.hebut.mr.Score$Map.map(Score.java:1)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

解决方案

上传到ＨＤＦＳ的格式不对　，改为　ＵＴＦ－８　

时间： 2024-10-02 03:09:28

hadoop mapreduce-mapreduce 求平均数出现错误的相关文章

《Hive编程指南》一1.1　Hadoop和MapReduce综述

1.1 Hadoop和MapReduce综述如果用户已经熟悉Hadoop和MapReduce计算模型的话,那么可以跳过本节.虽然用户无需精通MapReduce就可以使用Hive,但是理解MapReduce的基本原理将帮有助于用户了解Hive在底层是如何运作的,以及了解如何才能更高效地使用Hive. 我们在这里提供了一个关于Hadoop和MapReduce的简要描述.更多细节,请参考Tom White (O'Reilly)所著的<Hadoop权威指南>一书. MapReduceMapReduc

Hadoop新MapReduce框架Yarn详解

Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介.使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图: 图 1.Hadoop 原 MapReduce 架构从上图中可以清楚的看出原 Map

hadoop字啊运行程序出现错误，求大神指点，谢谢了

问题描述 hadoop字啊运行程序出现错误,求大神指点,谢谢了 [hadoop@Master hadoop]$ bin/hadoop jar wikipedia-miner-hadoop.jar org.wikipedia.miner.extraction.DumpExtractor input/enwiki-20130503-pages-articles.xml input/languages.xml en input/en-sent.bin output13/11/01 15:20:37 I

hadoop一个mapreduce的JOB最短执行时间

问题描述 hadoop一个mapreduce的JOB最短执行时间如题,我想用hadoop来进行文本检索,想法是一个查询对应一个JOB,检索的话肯定时间要快. 但是我在eclipse中跑一个JOB时,即使是什么都不做,也需要7秒,用hadoop jar命令更久. 请问这个时间可以优化吗,还是Mapreduce初始JOB就需要这么久.还有一个奇怪的现象: JOB如果遍历文本集合来进行检索,竟然只需要6秒多,比什么都不干还快. 解决方案看起来不会有人回答了,个人感觉mapreduce就是慢,不是说

mapreduce-自己写的hadoop ，MapReduce程序不能并行

问题描述自己写的hadoop ,MapReduce程序不能并行 ** 学习hadoop有一段时间了,在写hadoop 程序时,尽管是根据官方例子,套着模板写出的,但是不能达到真正意义上的并行,也就是说,各分机没有任务运行. ** 运行环境如下: 操作系统: centOS6.3 32位, jdk1.7, hadoop-1.0.3, 1台master3台worker. 为了具体说明问题,程序如下: package campus; import java.io.IOException;import

【hadoop】 running beyond virtual memory错误原因及解决办法

本文转载自 http://www.cnblogs.com/scw2901/p/4331682.html 在hbase shell 里运行 count 'tablename' 统计表格行数太慢了改用 $HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename' 就报Container [pid=13875,containerID=container_1480991516670_0003_01_0

eclipse+hadoop上出现了下面这个错误，请教问题原因，解决方案

问题描述 eclipse+hadoop上出现了下面这个错误,请教问题原因,解决方案我在eclipse+hadoop上出现了下面这个错误,可以帮我看一下是什么原因,怎么解决吗? 解决方案自己来顶一下,刚刚接触这个不太会,求大神指导,越详细越好解决方案二: 没找到类,看看引进的包里有没有这个类

数字-关于C语言求平均数的程序

问题描述关于C语言求平均数的程序大家帮我看看,为什么我在输入4个2之后,结果平均数是1呢? # include<stdio.h> main(){ printf("*************************n"); printf("这个程序是求平均数的程序n"); printf("*************************n"); int i = 0 ; int n = 0 ; int p ; double aver

c++-C++求平均数和最小值，这个最小值返回了0是什么问题？

问题描述 C++求平均数和最小值,这个最小值返回了0是什么问题? #include<iostream> using namespace std; int i = 0; double score[16]; double sum; double ave; int min()//求最小值 { double temp = score[0]; for (int count = 1; count < 16; count++) { if (score[i] < temp) { temp = sc