将mysql数据导入hive方法实例

下面是从mysql将数据导入hive的实例。

–hive-import 表示导入到hive，–create-hive-table表示创建hive表。–hive-table指定hive的表名。

[zhouhh@Hadoop46 ~]$ sqoop import --connect jdbc:mysql://Hadoop48/toplists --verbose -m 1 --username root --hive-overwrite --direct --table award --hive-import --create-hive-table --hive-table mysql_award --fields-terminated-by 't' --lines-terminated-by 'n' --append

12/07/20 16:02:23 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
12/07/20 16:02:23 INFO tool.CodeGenTool: Beginning code generation
12/07/20 16:02:23 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `award` AS t LIMIT 1
12/07/20 16:02:24 INFO orm.CompilationManager: HADOOP_HOME is /home/zhouhh/hadoop-1.0.0/libexec/..
注: /tmp/sqoop-zhouhh/compile/2fe3efbc94924ad6391b948ef8f8254f/award.java使用或覆盖了已过时的 API。
注: 有关详细信息, 请使用 -Xlint:deprecation 重新编译。
12/07/20 16:02:25 ERROR orm.CompilationManager: Could not rename /tmp/sqoop-zhouhh/compile/2fe3efbc94924ad6391b948ef8f8254f/award.java to /home/zhouhh/./award.java
12/07/20 16:02:25 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-zhouhh/compile/2fe3efbc94924ad6391b948ef8f8254f/award.jar
12/07/20 16:02:25 INFO manager.DirectMySQLManager: Beginning mysqldump fast path import
12/07/20 16:02:25 INFO mapreduce.ImportJobBase: Beginning import of award
12/07/20 16:02:27 INFO mapred.JobClient: Running job: job_201207191159_0322
12/07/20 16:02:28 INFO mapred.JobClient:  map 0% reduce 0%
12/07/20 16:02:41 INFO mapred.JobClient:  map 100% reduce 0%
12/07/20 16:02:46 INFO mapred.JobClient: Job complete: job_201207191159_0322
12/07/20 16:02:46 INFO mapred.JobClient: Counters: 18
12/07/20 16:02:46 INFO mapred.JobClient:   Job Counters
12/07/20 16:02:46 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=12849
12/07/20 16:02:46 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/20 16:02:46 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/20 16:02:46 INFO mapred.JobClient:     Launched map tasks=1
12/07/20 16:02:46 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
12/07/20 16:02:46 INFO mapred.JobClient:   File Output Format Counters
12/07/20 16:02:46 INFO mapred.JobClient:     Bytes Written=208
12/07/20 16:02:46 INFO mapred.JobClient:   FileSystemCounters
12/07/20 16:02:46 INFO mapred.JobClient:     HDFS_BYTES_READ=87
12/07/20 16:02:46 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=30543
12/07/20 16:02:46 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=208
12/07/20 16:02:46 INFO mapred.JobClient:   File Input Format Counters
12/07/20 16:02:46 INFO mapred.JobClient:     Bytes Read=0
12/07/20 16:02:46 INFO mapred.JobClient:   Map-Reduce Framework
12/07/20 16:02:46 INFO mapred.JobClient:     Map input records=1
12/07/20 16:02:46 INFO mapred.JobClient:     Physical memory (bytes) snapshot=78295040
12/07/20 16:02:46 INFO mapred.JobClient:     Spilled Records=0
12/07/20 16:02:46 INFO mapred.JobClient:     CPU time spent (ms)=440
12/07/20 16:02:46 INFO mapred.JobClient:     Total committed heap usage (bytes)=56623104
12/07/20 16:02:46 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=901132288
12/07/20 16:02:46 INFO mapred.JobClient:     Map output records=44
12/07/20 16:02:46 INFO mapred.JobClient:     SPLIT_RAW_BYTES=87
12/07/20 16:02:46 INFO mapreduce.ImportJobBase: Transferred 208 bytes in 20.349 seconds (10.2216 bytes/sec)
12/07/20 16:02:46 INFO mapreduce.ImportJobBase: Retrieved 44 records.
12/07/20 16:02:46 INFO util.AppendUtils: Creating missing output directory - award
12/07/20 16:02:46 INFO hive.HiveImport: Removing temporary files from import process: award/_logs
12/07/20 16:02:46 INFO hive.HiveImport: Loading uploaded data into Hive
12/07/20 16:02:46 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `award` AS t LIMIT 1
12/07/20 16:02:48 INFO hive.HiveImport: WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
12/07/20 16:02:48 INFO hive.HiveImport: Logging initialized using configuration in jar:file:/home/zhouhh/hive-0.8.1/lib/hive-common-0.8.1.jar!/hive-log4j.properties
12/07/20 16:02:48 INFO hive.HiveImport: Hive history file=/home/zhouhh/hive-0.8.1/logs/hive_job_log_zhouhh_201207201602_1448253330.txt
12/07/20 16:02:53 INFO hive.HiveImport: OK
12/07/20 16:02:53 INFO hive.HiveImport: Time taken: 4.322 seconds
12/07/20 16:02:53 INFO hive.HiveImport: Loading data to table default.mysql_award
12/07/20 16:02:53 INFO hive.HiveImport: Deleted hdfs://Hadoop46:9200/user/hive/warehouse/mysql_award
12/07/20 16:02:53 INFO hive.HiveImport: OK
12/07/20 16:02:53 INFO hive.HiveImport: Time taken: 0.28 seconds
12/07/20 16:02:53 INFO hive.HiveImport: Hive import complete.

到hive中查询，已经成功导入数据

 代码如下 复制代码
hive> select * from mysql_award;

OK
2012-04-27 06:55:00:402713629   5947    433203828       2       4027102 402713629       1001    NULL    715878221 杀破天A ios
2012-04-27 06:55:00:406788559   778     433203930       19      4017780 406788559       1001    1       13835155880       亲牛牛旦旦      android
Time taken: 0.368 seconds

hive>由于基于utf8，所以没有遇到乱码问题。

时间： 2024-10-26 23:45:00

将mysql数据导入hive方法实例的相关文章

MySQL数据导入导出方法与工具介绍（1- myslqimport utility）

mysql|数据             MySQL数据导入导出方法与工具介绍(1- myslqimport utility)              mysqlimport文本文件导入工具介绍 翻译声明:    本文内容来自Sam's Teach Yourself MySQL in 21 Days一书的部分内容,by Mark Maslakowski      英文原文版权属原作者所有,中文的部分翻译有略有增删;原书讲的过于清楚的地方有删,讲的不清楚的地方有增:如果有翻译的不妥或者不正确的地

MySQL数据导入导出方法与工具介绍（2-import from sql files）

mysql|数据    MySQL数据导入导出方法与工具介绍(2-import from sql files)          批处理导入文件,从sql文件导入数据到数据库中 翻译声明:    本文内容来自Sam's Teach Yourself MySQL in 21 Days一书的部分内容,by Mark Maslakowski    英文原文版权属原作者所有,中文的部分翻译有略有增删;原书讲的过于清楚的地方有删,讲的不清楚的地方有增:如果有翻译的不妥或者不正确的地方,请指正. 翻译者:D

MySQL数据导入导出方法与工具介绍（3-Exporting Data）

mysql|数据                MySQL数据导入导出方法与工具介绍(3-Exporting Data)                  导出数据的方法:Methods of Exporting Data 翻译声明:    本文内容来自Sam's Teach Yourself MySQL in 21 Days一书的部分内容,by Mark Maslakowski    英文原文版权属原作者所有,中文的部分翻译有略有增删;原书讲的过于清楚的地方有删,讲的不清楚的地方有增:如果有翻

MySQL数据导入导出方法与工具介绍(1)

mysql|数据  翻译声明:     本文内容来自Sam's Teach Yourself MySQL in 21 Days一书的部分内容,by Mark Maslakowski      英文原文版权属原作者所有,中文的部分翻译有略有增删;原书讲的过于清楚的地方有删,讲的不清楚的地方有增:如果有翻译的不妥或者不正确的地方,请指正.-AsobP  翻译者:David Euler,SCU. de_euler-david@www.yahoo.com.cn  时间:2004/04/24于川大-Aso

MySQL数据导入导出方法与工具介绍

翻译声明:本文内容来自Sams Teach Yourself MySQL in 21 Days一书的部分内容,by Mark Maslakowski 英文原文版权属原作者所有,中文的部分翻译有略有增删;原书讲的过于清楚的地方有删,讲的不清楚的地方有增:如果有翻译的不妥或者不正确的地方,请指正. 翻译者:David Euler,SCU. de_euler-david@www.yahoo.com.cn 时间:2004/04/24于川大 1).mysqlimport的语法介绍 mysqlimport位

MySQL数据导入恢复(还原)实例

有两个简单的方法MySQL中的数据加载到MySQL数据库从先前备份的文件. LOAD DATA导入数据: MySQL提供了LOAD DATA语句,作为一个大容量数据加载.下面是一个例子声明中,读取一个文件dump.txt,,从当前目录加载到当前数据库中的表mytbl:  代码如下 复制代码 mysql> LOAD DATA LOCAL INFILE 'dump.txt' INTO TABLE mytbl; 如果本地的关键字是不存在的,MySQL的外观使用绝对路径名寻找到完全指定位置的文件在服务器

mysql数据导入与导出实例

没有指定字段表,所以load data infile期望输入行对每个表列包含一个字段.使用缺省fields和lines值. 如果你希望仅仅装载一张表的某些列,指定一个字段表: mysql教程> load data infile 'persondata.txt'            into table persondata (col1,col2,...); 如果在输入文件中的字段顺序不同于表中列的顺序,你也必须指定一个字段表.否则,mysql不能知道如何匹配输入字段和表中的列. 如果一个行有很

mysql数据导入sqlserver数据库方法

  方法一:通过在mysql中备份sql来将mysql数据导入sqlserver.适合于数据量不大的情况使用(如何你的数据中存在的blob字段的数据量不是很多或者不存在可以考虑). 特点:对于小数据量的迁移:方便快捷. 步骤:1:使用mysql工具备份sql文件,我这里用的是SQLyog软件. 2:对备份的sql文件进行处理(原因是这些备份的sql文件可以在sqlserver解析器中不能通过需要进行写修改).此处以SQLyog举例: /*!40101 SET NAMES utf8 */; /*!

Python使用xlrd模块操作Excel数据导入的方法

  本文实例讲述了Python使用xlrd模块操作Excel数据导入的方法.分享给大家供大家参考.具体分析如下: xlrd是一个基于python的可以读取excel文件的产品.和pyExcelerator相比,xlrd的主要特点在于读的功能比较强大,提供了表单行数.列数.单元格数据类型等pyExcelrator无法提供的详细信息,使得开发人员无须了解表单的具体结构也能对表单中的数据进行正确的分析转换. 但是xlrd仅仅提供了读取excel文件的功能,不能像pyExcelrator那样生成exce