maven编译 spark里运行报NoClassDefFoundError

问题描述

我先用maven打包了要运行的scala程序，用spark-submit提交了以后报错内容如下：Exceptioninthread"main"java.lang.NoClassDefFoundError:edu/umd/cloud9/collection/wikipedia/WikipediaPageatcom.cloudera.datascience.lsa.RunLSA$.preprocessing(RunLSA.scala:54)atcom.cloudera.datascience.lsa.RunLSA$.main(RunLSA.scala:33)atcom.cloudera.datascience.lsa.RunLSA.main(RunLSA.scala)atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)atjava.lang.reflect.Method.invoke(Method.java:497)atorg.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:674)atorg.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)atorg.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)atorg.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)atorg.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)Causedby:java.lang.ClassNotFoundException:edu.umd.cloud9.collection.wikipedia.WikipediaPageatjava.net.URLClassLoader.findClass(URLClassLoader.java:381)atjava.lang.ClassLoader.loadClass(ClassLoader.java:424)atjava.lang.ClassLoader.loadClass(ClassLoader.java:357)...12more我检查了下pom文件，这个类的依赖已经添加，并检查了本地仓库，也有这个类

解决方案

时间： 2024-10-23 07:45:59

maven编译 spark里运行报NoClassDefFoundError的相关文章

o lass ef ound rror-eclipse导入jar，导入到工程编译没有问题，但运行报NoClassDefFoundError

问题描述 eclipse导入jar,导入到工程编译没有问题,但运行报NoClassDefFoundError eclipse版本 4.3.2 ADT 23 JDK 1.8 网上挡下来的包为 Thumbnailator-0.4.8.jar -- (对生成缩略图的处理,也下过0.4.2的) 现加载的方式(报错):将jar复制到libs中.也尝试过在buildpath中添加,效果一样 错误代码段 Thumbnails.of(file)--断点跟到这,确定是此处出了问题 第一次用CSDN,不知道怎么玩,

maven项目 mybatis generator运行报错。。。。在线急等！！！

问题描述 maven项目 mybatis generator运行报错....在线急等!!! 执行maven命令:mybatis-generator:generate -e 时报如下错误: Caused by: org.apache.maven.plugin.PluginExecutionException: Execution default-cli of goal org.mybatis.generator:mybatis-generator-maven-plugin:1.3.2:genera

spark程序运行报错问题，求助

问题描述 16/03/0317:36:03WARNTaskSetManager:Losttask0.0instage0.0(TID0,localhost):java.net.NoRouteToHostException:Noroutetohostjava.net.PlainSocketImpl.socketConnect(NativeMethod)java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339

linux下编译Spark教程详解

1.编译环境 CentOS6.6  JDK1.7.0_80  Maven3.2.5 2.下载Spark源代码并解压 [yyl@vmnode ~]$ pwd /home/yyl [yyl@vmnode make]$ pwd /home/yyl/make [yyl@vmnode make]$ wget http://mirrors.cnnic.cn/apache/spark/spark-1.5.0/spark-1.5.0.tgz [yyl@vmnode make]$ tar -zxf spark-1

maven编译报错 -source 1.5 中不支持 lambda 表达式

在用maven编译项目是由于项目中用了jdk 1.8, 编译是报错  -source 1.5 中不支持 lambda 表达式,Google找到这篇解决方案,记录一下:   编译时报如下错误: [ERROR] COMPILATION ERROR : [INFO] ------------------------------------------------------------- [ERROR] AAA\.jenkins\workspace\BBB\CCC.java:[73,46] 错误: -

微信-Android项目导入第三方jar包编译没问题运行却报错·

问题描述 Android项目导入第三方jar包编译没问题运行却报错· 最近在弄微信分享的api,导入了微信的sdk,然而运行的时候说没有那些对应的类,jar包我是复制到libs下再add to build path的,为何会无法引入?????真心求解·郁闷死 解决方案 类似问题我也出过,我当初是v4包太老了,换个新的v4包就好了.你看看是不是你的libs是老的. 解决方案二: 感觉还是路径的问题.查一下WXAPIFactory 解决方案三: 分享微信的时候,还需要额外的一个类. public c

eclipse里配置tomcat后运行报错

问题描述 eclipse里配置tomcat后运行报错 eclipse里配置tomcat后,tomcat能启动,项目也部署到tomcat里了,但运行web项目报错404 解决方案 eclipse 配置并运行 Tomcateclipse远程调试tomcat运行的web项目--配置 解决方案二: http://www.mamicode.com/info-detail-492134.html

maven 编译 trunk-maven 编译报错的问题

问题描述 maven 编译报错的问题 错误如下: [root@node1-246 emm-trunk01]# mvn clean install [INFO] Scanning for projects... [ERROR] The build could not read 8 projects -> [Help 1] [ERROR] [ERROR] The project com.polysaas.emm:emm-device:0.0.1-SNAPSHOT (/opt/emm-trunk01/

android：我的代码目录里没有 drawable-hdpi-v4这个文件夹，在编译的时候总是报错

问题描述 android:我的代码目录里没有 drawable-hdpi-v4这个文件夹,在编译的时候总是报错 请问这是什么原因呢,根本就没有drawable-hdpi-v4这个文件夹 解决方案 找到错误了,是因为三方jar包导致~ 解决方案二: 检查下你的资源文件,你的资源文件出错了, 解决方案三: 或许是你的编程工具,或者环境,出现了错误,重新装一次. 解决方案四: 你的jar包引用出问题了 解决方案五: 我也遇到了这个问题,请问如何解决的?