spark jar 读取hdfs文件错误

问题描述

Exceptioninthread"main"org.apache.spark.SparkException:Jobabortedduetostagefailure:Task0instage0.0failed4times,mostrecentfailure:Losttask0.3instage0.0(TID3,10.10.10.154):org.apache.hadoop.HadoopIllegalArgumentException:Theshort-circuitlocalreadsfeatureisenabledbutdfs.domain.socket.pathisnotset.Causedby:org.apache.hadoop.HadoopIllegalArgumentException:Theshort-circuitlocalreadsfeatureisenabledbutdfs.domain.socket.pathisnotset.求解决办法

解决方案

解决方案二：
普通的wordcount案例,IntelliJidea写的打包成jar使用bin/spark-submit--classWCount--masterspark://is-nn-01:8888--namewordcountByScala--executor-memory1G--total-executor-cores2/spark_test/WordCount.jarhdfs://is-nn-01:8020/spark_test/tst.txt提交后提示警告
解决方案三：
hdfs-site.xml中<property><name>dfs.domain.socket.path</name><value>/var/run/hdfs-sockets/dn</value></property>已经设置过了但是路径中的dn文件无法打开，与这个有关系吗？如果有关，那么正常的dn文件应该是什么内容？长什么样啊？
解决方案四：
worker节点是否配置dfs.domain.socket.path
解决方案五：
所有节点都配置好了
解决方案六：
spark-submit有个参数--properties-fileFilePathtoafilefromwhichtoloadextraproperties.Ifnotspecified,thiswilllookforconf/spark-defaults.conf.机器上将这个文件注释成temp了，系统无法查看参数，导致出现上述问题

时间： 2024-09-20 11:00:35

spark jar 读取hdfs文件错误的相关文章

java 读取dbf文件-java读取dbf文件问题怎样解决使用javadbf.jar

问题描述 java读取dbf文件问题怎样解决使用javadbf.jar 使用javadbf.jar读取dbf文件只能读取到字段名和第一行记录,然后遇到com.linuxense.javadbf.DBFException: Failed to parse Number: multiple points错误怎么解决

spark读取hdfs的时候出现io异常

问题描述 我现在只部署了一个节点来测试,但是发现无法读取hdfs上的文件,每次都抛出这个io异常.求大神拯救nero01为主机名,192.168.189.101为ip地址.scala>textFile.countjava.io.IOException:Failedonlocalexception:com.google.protobuf.InvalidProtocolBufferException:Messagemissingrequiredfields:callId,status;HostDet

Spark读取Hdfs

问题描述 最近才开始搞spark,请问各位大神怎么让spark高效的读取Hdfs上的二进制文件,求解决,急~~~ 解决方案 解决方案二:SparkContext中有sequenceFile[K,V]方法用来读取序列化二进制文件,K和V是文件中的key和values类型.它们必须是Hadoop的Writable的子类.解决方案三: 解决方案四:谢谢,我试试

win7系统为何出现读取文件错误

  win7系统黑屏是怎么回事? 微软公司称,2014年,微软将取消Windows XP的所有技术支持.Windows 7将是Windows XP的继承者.另外,Windows体验指数也由Vista的5.9上升至7.9. 但很多朋友反映安装win7时出现了问题.那么,安装时为何出现读取文件错误? 1.安装的时候为什么会出现读取文件错误? 这一般是由于盘片本身的问题或者刻盘出错造成的,请重新刻盘.请大家用中速,光盘一次刻录方式刻录用.另外,如果你采用的是DOS下虚拟光驱方式加载ISO再安装,也可能

java-在使用JXLS读取excel文件时，超过10位的数字格式错误

问题描述 在使用JXLS读取excel文件时,超过10位的数字格式错误 Hi,我正在使用jxls实现导入excel的功能.但现在遇到一个很棘手的问题:jxls在遇到长度超过10位的数字时,如12345678912,会将其转成1.2345678E10.有没有什么办法可以解决这个问题. 解决方案 excel中按右键 点击设置单元格格式 把这串数字编辑成为字符串文本格式 然后保存 解决方案二: 可以在excel中数字之前加上', 这样就可以把这个单元格的内容变成文本,程序里取字符串 不要取数字

java web-POI读取EXCEL文件的错误（invalid header signature ）处理

问题描述 POI读取EXCEL文件的错误(invalid header signature )处理 如题,网上很多说是获取信息头部出错,保存或者另存为就可以,我试了下的确可以,但是我不用保存,只要打开下或者重命名也能读取了,打开也没显示格式错误,更重要的是我功能是读取客户端的excel..不可能每次都手动操作,我现在实现的功能是用jsp的FileUpload上传的临时区用poi存储,有没高手帮忙解决更奇怪的是我在eclipse调试却完全没问题,这很重要,已经穷途末路,大家给点意见 解决方案 是因

spark-在使用Spark Streaming向HDFS中保存数据时，文件内容会被覆盖掉，怎么解决？

问题描述 在使用Spark Streaming向HDFS中保存数据时,文件内容会被覆盖掉,怎么解决? 我的Spark Streaming代码如下所示: val lines=FlumeUtils.createStream(ssc,"hdp2.domain",22222,StorageLevel.MEMORY_AND_DISK_SER_2) val words = lines.filter(examtep(_)) words.foreachRDD(exam(_)) //some other

伪分布模式-读取HDFS上的文件问题

问题描述 读取HDFS上的文件问题 在伪分布模式下测试代码,在eclipse里建了个项目,然后在map函数里我想从hdfs中读取文件数据(testData.csv),然后这几段代码就会出现问题,String str_url="hdfs://localhost:9000";URI.creat(str_url);String str="hdfs://localhost:9000/user/input/testData.csv";Path path=new Path(st

JAVA 生成JAR读取文件路径问题

问题描述 使用Eclipase开发一个包, 现在结构有com.ut.servicecom.ut.resourcecom.ut.resource下有文件 config.properties,,,我在com.ut.service代码中读取 config.properties文件应该如何操作现在方法:String filePath = "bin/com/ut/resources/config.properties";File file = new File(filePath);能找到文件但是