spark 调用hbase出现Cannot create a record reader because of a previous error

问题描述

使用spark调用Hbase时出现Cannotcreatearecordreaderbecauseofapreviouserror异常：org.apache.spark.SparkException:Jobabortedduetostagefailure:Task0instage0.0failed4times,mostrecentfailure:Losttask0.3instage0.0(TID3,zdwlhadoop1):java.io.IOException:Cannotcreatearecordreaderbecauseofapreviouserror.Pleaselookatthepreviouslogslinesfromthetask'sfulllogformoredetails.atorg.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRecordReader(TableInputFormatBase.java:163)atorg.apache.spark.rdd.NewHadoopRDD$$anon$1.<init>(NewHadoopRDD.scala:131)atorg.apache.spark.rdd.NewHadoopRDD.compute(NewHadoopRDD.scala:104)atorg.apache.spark.rdd.NewHadoopRDD.compute(NewHadoopRDD.scala:66)atorg.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277)atorg.apache.spark.rdd.RDD.iterator(RDD.scala:244)atorg.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:61)atorg.apache.spark.scheduler.Task.run(Task.scala:64)atorg.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:203)atjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)atjava.lang.Thread.run(Thread.java:745)Causedby:java.lang.IllegalStateException:Theinputformatinstancehasnotbeenproperlyinitialized.EnsureyoucallinitializeTableeitherinyourconstructororinitializemethodatorg.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getTable(TableInputFormatBase.java:389)atorg.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRecordReader(TableInputFormatBase.java:158)...11moreDriverstacktrace:atorg.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1203)atorg.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1192)atorg.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1191)atscala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)atscala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)atorg.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1191)atorg.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:693)atorg.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:693)atscala.Option.foreach(Option.scala:236)atorg.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:693)atorg.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1393)atorg.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1354)atorg.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)请牛X大神回复！！！！

解决方案

解决方案二：
本地空间是不是满了
解决方案三：

解决方案四：
粘一下完整的日志，这个是说，因为之前的某些错误导致的。

时间： 2024-09-27 09:29:54

spark 调用hbase出现Cannot create a record reader because of a previous error的相关文章

Spark与HBase的整合

前言 之前因为仅仅是把HBase当成一个可横向扩展并且具有持久化能力的KV数据库,所以只用在了指标存储上,参看很早之前的一篇文章基于HBase做Storm 实时计算指标存储.这次将HBase用在了用户行为存储上,因为Rowkey的过滤功能也很不错,可以很方便的把按人或者内容的维度过滤出所有的行为.从某种意义上,HBase的是一个有且仅有一个多字段复合索引的存储引擎. 虽然我比较推崇实时计算,不过补数据或者计算历史数据啥的,批处理还是少不了的.对于历史数据的计算,其实我是有两个选择的,一个是基于H

有用java 编的程序 调用 hbase 接口的吗？

问题描述 有用java 编的程序 调用 hbase 接口的吗? 有用java 编的程序 调用 hbase 接口的吗?最好具体一些,对这方面不太懂 解决方案 http://blog.csdn.net/lifuxiangcaohui/article/details/39997205

开源大数据技术专场（上午）:Spark、HBase、JStorm应用与实践

16日上午9点,2016云栖大会"开源大数据技术专场" (全天)在阿里云技术专家封神的主持下开启.通过封神了解到,在上午的专场中,阿里云高级技术专家无谓.阿里云技术专家封神.阿里巴巴中间件技术部高级技术专家天梧.阿里巴巴中间件技术部资深技术专家纪君祥将给大家带来Hadoop.Spark.HBase.JStorm Turbo等内容. 无谓:Hadoop过去现在未来,从阿里云梯到E-MapReduce 阿里云高级技术专家 无谓  从开辟大数据先河至现在,风雨十年,Hadoop已成为企业的通

c语言-c通过jni调用 HBASE JAVA API

问题描述 c通过jni调用 HBASE JAVA API jvm.dll!6db71017() 未知[下面的框架可能不正确和/或缺失,没有为 jvm.dll 加载符号] jvm.dll!6db71086() 未知jvm.dll!6db710e0() 未知jvm.dll!6dde9d1d() 未知jvm.dll!6deaa65d() 未知jvm.dll!6ddfd291() 未知jvm.dll!6dd07d3d() 未知jvm.dll!6dd11511() 未知022003e4() 未知jvm.d

java hbase-java调用Hbase java.net.SocketTimeoutException

问题描述 java调用Hbase java.net.SocketTimeoutException hbase菜鸟,工作需要,请大神帮忙.java连接hbase出现的错误error如下: log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system prope

python 调用HBase的简单实例_python

新来的一个工程师不懂HBase,java不熟,python还行,我建议他那可以考虑用HBase的thrift调用,完成目前的工作. 首先,安装thrift 下载thrift,这里,我用的是thrift-0.7.0-dev.tar.gz 这个版本 tar xzf thrift-0.7.0-dev.tar.gz cd thrift-0.7.0-dev sudo ./configure --with-cpp=no --with-ruby=no sudo make sudo make install 然

spark访问hbase

import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor} import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.spark.rdd.NewHadoopRDD val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, "tm

spark往hbase写数据

问题描述 valresult:org.apache.spark.rdd.RDD[(String,Int)]result.foreach(res=>{varput=newPut(java.util.UUID.randomUUID().toString.reverse.getBytes()).add("lv6".getBytes(),res._1.toString.getBytes(),res._2.toString.getBytes)table.put(put)})上面是程序,re

spark读取hbase空指针异常，跪求大神指导

问题描述 spark版本:1.2.1hbase版本:0.98importorg.apache.hadoop.hbase.HBaseConfigurationimportorg.apache.hadoop.hbase.mapreduce.TableInputFormatimportorg.apache.spark.SparkConfimportorg.apache.spark.SparkContextobjectHBaseTest{defmain(args:Array[String]){valsp