could not instantiate 'org.apache.pig.piggybank.storage.DBStorage

问题描述

----JAR所在的目录hadoop@hadoop-master:~$pwd/home/hadoophadoop@hadoop-master:~$lspiggybank.jarmysql-connector-java-5.1.24-bin.jarmysql-connector-java-5.1.24-bin.jarpiggybank.jar----脚本register'/home/hadoop/mysql-connector-java-5.1.24-bin.jar';register'/home/hadoop/piggybank.jar';alldata=load'/neuhospital/mysql/201508111230/kce1_test/part-m-00000'usingPigStorage('');insertdata=foreachalldatagenerate$6;storeinsertdatainto'test'USINGorg.apache.pig.piggybank.storage.DBStorage('com.mysql.jdbc.Driver','jdbc:mysql://192.168.162.231:3306/warehouse','hive','hive','insertintopatient_info_t(MedicalCareID)values(?)');----报错信息PigStackTrace---------------ERROR1200:Pigscriptfailedtoparse:<line4,column0>pigscriptfailedtovalidate:java.lang.RuntimeException:couldnotinstantiate'org.apache.pig.piggybank.storage.DBStorage'witharguments'[com.mysql.jdbc.Driver,jdbc:mysql://192.168.162.231:3306/warehouse,hive,hive,insertintopatient_info_t(MedicalCareID)values(?)]'Failedtoparse:Pigscriptfailedtoparse:<line4,column0>pigscriptfailedtovalidate:java.lang.RuntimeException:couldnotinstantiate'org.apache.pig.piggybank.storage.DBStorage'witharguments'[com.mysql.jdbc.Driver,jdbc:mysql://192.168.162.231:3306/warehouse,hive,hive,insertintopatient_info_t(MedicalCareID)values(?)]'atorg.apache.pig.parser.QueryParserDriver.parse(QueryParserDriver.java:199)atorg.apache.pig.PigServer$Graph.validateQuery(PigServer.java:1707)atorg.apache.pig.PigServer$Graph.registerQuery(PigServer.java:1680)atorg.apache.pig.PigServer.registerQuery(PigServer.java:623)atorg.apache.pig.tools.grunt.GruntParser.processPig(GruntParser.java:1082)atorg.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:505)atorg.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:230)atorg.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:205)atorg.apache.pig.tools.grunt.Grunt.run(Grunt.java:66)atorg.apache.pig.Main.run(Main.java:565)atorg.apache.pig.Main.main(Main.java:177)atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)atjava.lang.reflect.Method.invoke(Method.java:606)atorg.apache.hadoop.util.RunJar.run(RunJar.java:221)atorg.apache.hadoop.util.RunJar.main(RunJar.java:136)Causedby:<line4,column0>pigscriptfailedtovalidate:java.lang.RuntimeException:couldnotinstantiate'org.apache.pig.piggybank.storage.DBStorage'witharguments'[com.mysql.jdbc.Driver,jdbc:mysql://192.168.162.231:3306/warehouse,hive,hive,insertintopatient_info_t(MedicalCareID)values(?)]'atorg.apache.pig.parser.LogicalPlanBuilder.buildStoreOp(LogicalPlanBuilder.java:1009)atorg.apache.pig.parser.LogicalPlanGenerator.store_clause(LogicalPlanGenerator.java:7806)atorg.apache.pig.parser.LogicalPlanGenerator.op_clause(LogicalPlanGenerator.java:1669)atorg.apache.pig.parser.LogicalPlanGenerator.general_statement(LogicalPlanGenerator.java:1102)atorg.apache.pig.parser.LogicalPlanGenerator.statement(LogicalPlanGenerator.java:560)atorg.apache.pig.parser.LogicalPlanGenerator.query(LogicalPlanGenerator.java:421)atorg.apache.pig.parser.QueryParserDriver.parse(QueryParserDriver.java:191)...16moreCausedby:java.lang.RuntimeException:couldnotinstantiate'org.apache.pig.piggybank.storage.DBStorage'witharguments'[com.mysql.jdbc.Driver,jdbc:mysql://192.168.162.231:3306/warehouse,hive,hive,insertintopatient_info_t(MedicalCareID)values(?)]'atorg.apache.pig.impl.PigContext.instantiateFuncFromSpec(PigContext.java:772)atorg.apache.pig.parser.LogicalPlanBuilder.buildStoreOp(LogicalPlanBuilder.java:988)...22moreCausedby:java.lang.reflect.InvocationTargetExceptionatsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod)atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)atsun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)atjava.lang.reflect.Constructor.newInstance(Constructor.java:526)atorg.apache.pig.impl.PigContext.instantiateFuncFromSpec(PigContext.java:740)...23moreCausedby:java.lang.RuntimeException:Can'tloadDBDriveratorg.apache.pig.piggybank.storage.DBStorage.<init>(DBStorage.java:82)atorg.apache.pig.piggybank.storage.DBStorage.<init>(DBStorage.java:71)...28moreCausedby:java.lang.ClassNotFoundException:com.mysql.jdbc.Driveratjava.net.URLClassLoader$1.run(URLClassLoader.java:366)atjava.net.URLClassLoader$1.run(URLClassLoader.java:355)atjava.security.AccessController.doPrivileged(NativeMethod)atjava.net.URLClassLoader.findClass(URLClassLoader.java:354)atjava.lang.ClassLoader.loadClass(ClassLoader.java:425)atsun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)atjava.lang.ClassLoader.loadClass(ClassLoader.java:358)atjava.lang.Class.forName0(NativeMethod)atjava.lang.Class.forName(Class.java:191)atorg.apache.pig.piggybank.storage.DBStorage.<init>(DBStorage.java:79)...29more

解决方案

时间: 2024-11-03 10:16:01

could not instantiate &amp;#x27;org.apache.pig.piggybank.storage.DBStorage的相关文章

Apache Pig简介与实践

Apache Pig是一个用来分析大数据集的平台,它由两部分组成:一部分是用于表达数据分析程序的高级脚本语言,另一部分是用于评估分析程序的基本工具.目前来看,Pig主要用于离线数据的批量处理应用场景,但是随着Pig的发展处理数据的速度会不断地提升,这可能依赖于Pig底层的执行引擎.比如,Pig通过指定执行模式,可以使用Hadoop的MapReduce计算引擎来实现数据处理,也可以使用基于Tez的计算引擎来实现(Tez是为了绕开MapReduce多阶段Job写磁盘而设计的DAG计算引擎,性能应该比

面向Hadoop框架的高级语言:Apache Pig

Apache Pig是用来处理大规模数据的高级查询语言,配合 Hadoop使用,可以在处理海量数据时达到事半功倍的效果,比使用Java,C++等语言编写大规模数据处理程序的难度要小N倍,实现同样的效果的代码量也小N倍.Apache Pig为大数据集的处理提供了更高层次的抽象,为mapreduce算法(框架)实现了一套类SQL的数据处理脚本语言的shell脚本,在Pig中称之为Pig Latin,在这套脚本中我们可以对加载出来的数据进行排序.过滤.求和.分组(group by).关联(Joinin

Apache Pig性能优化

Apache Pig性能优化 戴建勇  Hortonworks daijy@hortonworks.com temp_12120611335404.pdf

Apache Gora介绍

介绍         Gora是一个开源的ORM框架,主要为大数据提供内存数据模型与数据的持久化.目前Gora支持对于列数据.key-value数据,文档数据与RDBMS数据的存储,还支持使用Apache Hadoop来对对大数据进行分析 特点             虽然目前市面上有很多不错的关系数据库的ORM框架,但是基于数据模型的框架如JDO还是有一些不足,如对于列数据模型的存储与持久化.Gora正好弥补了这个问题,它能使用户很容易对大数据时行 内存建模与持久化,而且支持Hadoop来对大

用于简化MapReduce编程的Java库Apache Crunch简介

Apache Crunch(孵化器项目)是基于Google的FlumeJava库编写的Java库,用于创建MapReduce流水线.与其他用来创建 MapReduce作业的高层工具(如Apache Hive.Apache Pig和Cascading等)类似,Crunch提供了用于实现如连接数据.执行 聚合和排序记录等常见任务的模式库.而与其他工具不同的是,Crunch并不强制所有输入遵循同一数据类型.相反,Crunch 使用了一种定制的类型系统,非常灵活,能够直接处理复杂数据类型,如时间序列.H

Pig系统分析(7) Pig实用工具类

Explain Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划.值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一种图形描述语言,请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80) 代码实现详见org.apache.pig.impl.plan.DotPlanDumper,这部分实现为我们设计执行计划可视化提供了参考. 下图部分截取了使用Graphviz打开物

Pig系统分析(2) Loader/Store/Schema

Pig哲学之一--Pigs Eat Anything.Pig能够从不同数据源加载数据,能够处理不同格式的数据.Pig使用Loader/Store进行数据加载和存储,可选地使用Schema指定数据列名称和类型.如果加载数据时不指定Schema,数据列未命名,类型默认是字节数组(bytearray),在后续操作中,Pig可以通过位置参数引用数据列,会根据在数据列上进行的操作进行自动类型转化.从性能和可读性考虑,最好在加载数据时指定Schema. Loader体系 Loader的基类是org.apac

Pig系统分析(1) 概述

本系列文章分析Pig运行主线流程,目的是借鉴Pig Latin on Hadoop,探索(类)Pig Latin on Spark的可能性. Pig概述 Apache Pig是Yahoo!为了让研究人员和工程师能够更简单处理.分析和挖掘大数据而发明的.从数据访问的角度来看,可以把YARN当成大数据的操作系统,那么Pig是各种不同类型的数据应用中不可或缺的一员. 尽管Pig的学习成本比Hive要高一些,但是Pig的优点是表达能力和灵活性更胜一筹.如果说用户使用声明式的Hive Hql表达的只是想要

《Hadoop实战手册》一1.9 使用Pig从HDFS导出数据到MongoDB

1.9 使用Pig从HDFS导出数据到MongoDB MongoDB是一种NoSQL数据库,用于存储和检索海量数据.MongoDB通常用于存储面向用户的数据,这些数据必须经过清洗.格式化之后才可以被使用.Apache Pig从某种程度上讲就是用来处理这种任务的.Mongostorage类使得使用Pig可以非常方便地批量处理HDFS上的数据,再直接将这些数据导入MongoDB中.本节将使用Mongostorage类将HDFS上的数据导出到MongoDB数据库中. 准备工作 使用Mongo Hado