Hadoop常见异常及其解决方案

  1、Shell$ExitCodeException

  现象:运行hadoop job时出现如下异常:

  14/07/09 14:42:50 INFO mapreduce.Job: ">Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED

  Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:

  org.apache.hadoop.util.Shell$ExitCodeException:

  at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)

  at org.apache.hadoop.util.Shell.run(Shell.java:418)

  at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)

  at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)

  at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)

  at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)

  at java.util.concurrent.FutureTask.run(FutureTask.java:262)

  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)

  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

  at java.lang.Thread.run(Thread.java:744)

  Container exited with a non-zero exit code 1

  原因及解决办法:原因未知。重启可恢复正常

  2、libhadoop.so.1.0.0 which might have disabled stack guard

  现象:Hadoop 2.2.0 - warning: You have loaded library /home/hadoop/2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard.

  原因及解决方法:

  在/etc/profile中添加:

  #hadoop configuration

  export PATH=$PATH:/home/jediael/hadoop-2.4.1/bin:/home/jediael/hadoop-2.4.1/sbin

  export HADOOP_HOME=/home/jediael/hadoop-2.4.1

  export HADOOP_COMMON_HOME=$HADOOP_HOME

  export HADOOP_HDFS_HOME=$HADOOP_HOME

  export HADOOP_MAPRED_HOME=$HADOOP_HOME

  export HADOOP_YARN_HOME=$HADOOP_HOME

  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

  export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

  此警告出现的原因是最后2项未添加。

原文链接:http://blog.csdn.net/jediael_lu/article/details/37598727

时间: 2025-01-20 12:05:01

Hadoop常见异常及其解决方案的相关文章

asp.net服务器上几种常见异常的解决方案._实用技巧

如下 (1)配置Asp.net站点ISS报出:服务器应用程序不可用.具体异常信息如下:  服务器应用程序不可用 您试图在此 Web 服务器上访问的 Web 应用程序当前不可用.请点击 Web 浏览器中的"刷新"按钮重试您的请求. 管理员注意事项: 详述此特定请求失败原因的错误信息可在 Web 服务器的系统事件日志中找到.请检查此日志项以查明导致该错误发生的原因. 我检查ISS上其他的配置.发现全部都是Asp编写的网站.属性中查看运行的环境竟是Asp.net Framework 1.1版

struts2.1.8+hibernate2.5.6+spring3.0常见异常原因和解决方案

经过暑期两个月对ssh2的学习和OA项目的实战训练,我对J2EE技术中著名的三大框架ssh2已渐渐有所理解和掌握.从搭建ssh2框架环境开始到写出第一个简单的ssh2登陆程序,到最后整个OA项目的实战, 期间遇到了重重困难和阻碍, 就连搭建环境就花了整整一天的功夫,而成功运行第一个ssh2程序更花了好几天,当然我相信这是大部分学习ssh2这门技术都会经历的过程,相信也是每个程序员学习任何一门新的技术都会走的路程.如今,项目已成功收尾,在这欣喜之余,我也愿意将我学习ssh2中遇到的一些常见异常问题

Spring10种常见异常解决方法

在程序员生涯当中,提到最多的应该就是SSH三大框架了.作为第一大框架的Spring框架,我们经常使用. 然而在使用过程中,遇到过很多的常见异常,我在这里总结一下,大家共勉. 一.找不到配置文件的异常 org.springframework.beans.factory.BeanDefinitionStoreException: IOException parsing XML document from class path resource [com/herman/ss/controller];

hadoop 运行异常,ReplicaNotFoundException

问题描述 hadoop 运行异常,ReplicaNotFoundException 浏览线上运行日志,发现大量报错信息,截取一条,希望大虾能帮助解决. May 5, 10:07:30.620 AM ERROR org.apache.hadoop.hdfs.server.datanode.DataNode hadoop-78:50010:DataXceiver error processing READ_BLOCK operation src: /192.0.0.78:34568 dst: /19

LINQ TO SQL常见异常及解决办法

引言 网上介绍Linq TO SQL的资料不少,但是实际工程中的例子很少,本文是我在使用Linq TO SQL开发项目中遇到的异常及解决方法,希望对您有帮助. 本文会继续更新... 系统环境 Visual Studio 2008 NET Framework 3.5+Microsoft SQL Server 2005+Window XP+ SP3 LINQ TO SQL采用配置式开发 常见异常 本文基本上使用断开的DataContext方式下开发中出现的异常. [System.Data.Linq.

Android笔记整理之常见错误及解决方案汇总_Android

一.No active compatible AVD's or devices found. Relaunch this configuration after connecting a device or starting an AVD. 修改adb server的端口,设置一个系统环境变量ANDROID_ADB_SERVER_PORT,值7913(随意一个数字),再启动adb server 步骤: a)进入cmd命令模式 b)cd XXX\platform-tools c)adb start

SQL Server+Hadoop 变身大数据解决方案

文章讲的是SQL Server+Hadoop 变身大数据解决方案,在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为

hadoop常见问题解决

hadoophttp://www.aliyun.com/zixun/aggregation/17253.html">常见问题解决: ----------------------------------------------------------- WARN mapred.LocalJobRunner: job_local910166057_0001 org.apache.hadoop.security.AccessControlException: org.apache.hadoop.

MySQL数据库常见错误及解决方案

MySQL数据库常见错误及解决方案   >      >            > > > >   &&&&&&&