使用collect函数时出现java.lang.ClassCastException: cannot assign instance of

问题描述

我输入的是一个csv文件,每行内容如下HX332780,14/7/5,OTHEROFFENSE,PROBATIONVIOLATION,PARKINGLOT/GARAGE(NON.RESID.),Y,N,1113HX332854,14/7/5,OTHEROFFENSE,HARASSMENTBYTELEPHONE,APARTMENT,N,N,1533HX332743,14/7/5,CRIMINALDAMAGE,TOVEHICLE,STREET,N,N,1021HX332735,14/7/5,THEFT,$500ANDUNDER,RESTAURANT,N,N,1014...........以下是简单处理的代码objectSparkPi{defmain(args:Array[String]){valconf=newSparkConf().setAppName("SparkPi").setMaster("spark://Master:7077").setJars(List("/home/hadoop/Downloads/JetBrains.IntelliJ.xdowns/idea-IU-139.1117.1/spark-examples-1.5.2-hadoop2.6.0.jar"))valsc=newSparkContext(conf)valrawData=sc.textFile("/home/hadoop/123.csv")valsecondData=rawData.map(_.split(",").takeRight(4).head)valthirdData=secondData.map(n=>(n,1)).reduceByKey(_+_).collect()sc.stop()}}在集群执行后出现以下错误15/12/0922:11:09WARNTaskSetManager:Losttask1.0instage0.0(TID1,219.216.65.129):java.lang.ClassCastException:cannotassigninstanceoforg.apache.spark.examples.SparkPi$$anonfun$2tofieldorg.apache.spark.rdd.RDD$$anonfun$flatMap$1$$anonfun$apply$4.cleanF$2oftypescala.Function1ininstanceoforg.apache.spark.rdd.RDD$$anonfun$flatMap$1$$anonfun$apply$4.........请问大神们是哪里出错了啊?去掉collect就没报错了,我只想统计数据每行中倒数第四列的不同单词出现的频率....

时间: 2024-10-30 18:40:31

使用collect函数时出现java.lang.ClassCastException: cannot assign instance of的相关文章

jboss容器分离后启动时报出java.lang.ClassCastException

问题描述 jboss容器分离后启动时报出java.lang.ClassCastException 在做一个jboss容器分离的,已经新建了profile目录,而且deploy下我也确定只有一个ear发布包和一个数据源的xml配置.但是在启动的时候还是报出以下的问题 11:40:17,822 ERROR [AbstractKernelController] Error installing to Start: name=persistence.unit:unitName=dcBackEnd-bet

iterator-最后一句的输出应该怎么写才会有键值对输出? java.lang.ClassCastException

问题描述 最后一句的输出应该怎么写才会有键值对输出? java.lang.ClassCastException public class Student { private String name; private String sex; public String getName() { return name; } public void setName(String name) { this.name = name; } public String getSex() { return se

java.lang.ClassCastException

问题描述 调用下面方法后,publicvoidsave(CapestransientInstance){log.debug("savingCapesinstance");try{getHibernateTemplate().save(transientInstance);log.debug("savesuccessful");}catch(RuntimeExceptionre){log.error("savefailed",re);throwre

急救: java.lang.ClassCastException: $Proxy2 cannot be cast to XXXX 错误

问题描述 我是个新手,这几天写了个小东西,刚开头就磕磕碰碰的,求哥哥大侠们能帮帮我.struts1.3+spring2.0+hibernate3报错信息:[com.jin.bbs.common.ActionExceptionHandler]-[ERROR] java.lang.ClassCastException: $Proxy2 cannot be cast to com.jin.bbs.user.UserManagerImpl at com.jin.bbs.user.presentation

db4o数据库存放的class含有相同的字段名且字段的类型也相同。现在想把这个库中数据读出来,但总是报 java.lang.ClassCastException错误

db4o数据库存放的class含有相同的字段名且字段的类型也相同.现在想把这个库中数据读出来,但总是报 java.lang.ClassCastException错误,请大侠指教 具体情况如下:   ObjectContainer db =null;    try {    db = Db4o.openFile("bean.yap");List<AlarmFilter> list_a = db.get(AlarmFilter.class);     for(int x = 0

oracle 11g-win8 安装oracle11g时报出java.lang.nullpointerexception

问题描述 win8 安装oracle11g时报出java.lang.nullpointerexception win8 安装oracle11g时报出java.lang.nullpointerexception,无法进入安装界面,求解决! 谢谢 解决方案 你之前有安装过JDK之类的吗? 1.先检查一下你下载的包的验证一下有没错误,MD5值等 2.看看一些环境变量有没有问题关于JAVA的一些变量 3.重新建一个用户,用户名不要带特殊字符.比如test等加到管理员组,再这个帐户下安装试试

java.lang.ClassCastException: com.sun.proxy.$Proxy27 cannot be cast to com.bbk.n002.service.QuestionService

1 严重: Servlet /N002-1.0 threw load() exception 2 java.lang.ClassCastException: com.sun.proxy.$Proxy27 cannot be cast to com.bbk.n002.service.QuestionService 3 at com.bbk.n002.servlet.CreateTaskQueueServlet.init(CreateTaskQueueServlet.java:28) 4 at ja

[Domino]“java.lang.ClassCastException:lotus.domino.cso.Item”异常解决办法

[Domino] "java.lang.ClassCastException:lotus.domino.cso.Item" 异常解决办法 编写者 日期 关键词 郑昀@ultrapower 2005-6 Java Domino RichTextItem   现象 通过Domino的Document.getFirstItem("Body")是可以获取当前邮件的Body字段,并试图直接转换为RichTextItem类型,从而访问该邮件的附件. 但是,有时候这个转换得到了下

java.lang.ClassCastException:org.apache.catalina.util.DefaultAnnotationProcessor cannot be cast to org.apache.AnnotationProcesso

org.apache.jasper.JasperException: java.lang.ClassCastException:org.apache.catalina.util.DefaultAnnotationProcessor cannot be cast to org.apache.AnnotationProcessor         at org.apache.jasper.servlet.JspServletWrapper.handleJspException(JspServletW