mysql load data infile 的用法(40w数据 用了3-5秒导进mysql)_Mysql

如果是导入有中文的数据,我的mysql 设置的utf8 字符集,所以你要导入的xxx.txt 文件也要保存utf-8的字符集,命令 load data infile "d:/Websites/Sxxxx/test1.txt" ignore into table `names` fields terminated by ',' enclosed by '"';

不知道用replace 这个关键字的话,还是会乱码。。不同、等高手回答。

在详细的介绍,推荐大家去看mysql手册去吧、里面介绍的很详细

在使用LOAD DATA到MySQL的时候,有2种情况: 

(1)在远程客户端(需要添加选项:--local-infile=1)导入远程客户端文本到MySQL,需指定LOCAL(默认就是ignore),加ignore选项会放弃数据,加replace选项会更新数据,都不会出现唯一性约束问题。 

(2)在本地服务器导入本地服务器文本到MySQL,不指定LOACL,出现唯一性约束冲突,会失败回滚,数据导入不进去,这个时候就需要加ignore或者replace来导入数据。

测试如下:

(1)本地服务器导入本地服务器文本

mysql> show create table tmp_loaddata\G;

*************************** 1. row ***************************

Table: tmp_loaddata

Create Table:CREATE TABLE `tmp_loaddata` (

`id` int(11) NOT NULL,

`name` varchar(10) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1

1 row in set (0.00 sec)

ERROR:

No query specified

mysql>select * from tmp_loaddata;

+----+------+

| id | name |

+----+------+

|1 | test |

+----+------+

1 row in set (0.00 sec)

mysql>

mysql>system cat /home/zhuxu/1.txt

1,new update

2,new update

mysql>

mysql>LOAD DATA INFILE '/home/zhuxu/1.txt' INTO TABLE tmp_loaddata FIELDS TERMINATED BY ',';

ERROR 1062 (23000): Duplicate entry '1' for key 'PRIMARY'

#出现唯一性约束冲突,会失败回滚

mysql>select * from tmp_loaddata;

+----+------+

| id | name |

+----+------+

|1 | test |

+----+------+

1 row in set (0.00 sec)

mysql>LOAD DATA INFILE '/home/zhuxu/1.txt' IGNOREINTO TABLE tmp_loaddata FIELDS TERMINATED BY ',';

Query OK,1 row affected(0.00 sec)

Records: 2Deleted: 0Skipped: 1Warnings: 0

#使用IGNORE对于冲突的数据丢弃掉。

mysql>select * from tmp_loaddata;

+----+------------+

| id | name|

+----+------------+

|1 | test|

|2 | new update |

+----+------------+

2 rows in set (0.00 sec)

mysql>LOAD DATA INFILE '/home/zhuxu/1.txt' REPLACEINTO TABLE tmp_loaddata FIELDS TERMINATED BY ',';

Query OK,3 rows affected(0.00 sec)

Records: 2Deleted: 1Skipped: 0Warnings: 0

#使用REPLACE对于冲突的数据进行更新。

mysql>select * from tmp_loaddata;

+----+------------+

| id | name|

+----+------------+

|1 | new update |

|2 | new update |

+----+------------+

2 rows in set (0.00 sec)

(2)远程客户端导入远程客户端文本

[zhuxu@xentest9-vm1 tmp]$mysql -uzhuxu -pzhuxu test -h10.254.5.151

Welcome to the MySQL monitor.Commands end with ; or \g.

Your MySQL connection id is 15

Server version: 5.1.47-log Source distribution

Copyright (c) 2000, 2010, Oracle and/or its affiliates. All rights reserved.

This software comes with ABSOLUTELY NO WARRANTY. This is free software,

and you are welcome to modify and redistribute it under the GPL v2 license

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>select * from tmp_loaddata;

+----+------+

| id | name |

+----+------+

|1 | test |

+----+------+

1 row in set (0.00 sec)

mysql>system cat /tmp/2.txt

1,new update

2,new update

3,new update

mysql>

mysql>LOAD DATA INFILE '/tmp/2.txt' INTO TABLE tmp_loaddata FIELDS TERMINATED BY ',';

ERROR 13 (HY000): Can't get stat of '/tmp/2.txt' (Errcode: 2)

#由于数据库服务器没有对应的文本文件,所以报错。

mysql>

mysql>LOAD DATA LOCALINFILE '/tmp/2.txt' INTO TABLE tmp_loaddata FIELDS TERMINATED BY ',';

ERROR 1148 (42000): The used command is not allowed with this MySQL version

#进去mysql远程客户端,还需要加--local-infile=1参数指定。

mysql> exit

Bye

[zhuxu@xentest9-vm1 tmp]$mysql -uzhuxu -pzhuxu test -h10.254.5.151 --local-infile=1--show-warnings -v -v -v \

> -e "LOAD DATA LOCAL INFILE '/tmp/2.txt' INTO TABLE tmp_loaddata FIELDS TERMINATED BY ','";

--------------

LOAD DATA LOCAL INFILE '/tmp/2.txt' INTO TABLE tmp_loaddata FIELDS TERMINATED BY ','

--------------

Query OK,2 rows affected(0.00 sec)

Records: 3Deleted: 0Skipped: 1Warnings: 0

Bye

mysql>select * from tmp_loaddata;

+----+------------+

| id | name|

+----+------------+

|1 | test|

|2 | new update |

|3 | new update |

+----+------------+

3 rows in set (0.00 sec)

#

[zhuxu@xentest9-vm1 tmp]$mysql -uzhuxu -pzhuxu test -h10.254.5.151 --local-infile=1--show-warnings -v -v -v \

> -e "LOAD DATA LOCAL INFILE '/tmp/2.txt' IGNOREINTO TABLE tmp_loaddata FIELDS TERMINATED BY ','";

--------------

LOAD DATA LOCAL INFILE '/tmp/2.txt' IGNORE INTO TABLE tmp_loaddata FIELDS TERMINATED BY ','

--------------

Query OK,0 rows affected(0.00 sec)

Records: 3Deleted: 0Skipped: 3Warnings: 0

Bye

mysql>select * from tmp_loaddata;

+----+------------+

| id | name|

+----+------------+

|1 | test|

|2 | new update |

|3 | new update |

+----+------------+

3 rows in set (0.00 sec)

#

[zhuxu@xentest9-vm1 tmp]$mysql -uzhuxu -pzhuxu test -h10.254.5.151 --local-infile=1--show-warnings -v -v -v \

> -e "LOAD DATA LOCAL INFILE '/tmp/2.txt' REPLACEINTO TABLE tmp_loaddata FIELDS TERMINATED BY ','";

--------------

LOAD DATA LOCAL INFILE '/tmp/2.txt' REPLACE INTO TABLE tmp_loaddata FIELDS TERMINATED BY ','

--------------

Query OK,4 rows affected(0.00 sec)

Records: 3Deleted: 1Skipped: 0Warnings: 0

Bye

mysql> select * from tmp_loaddata;

+----+------------+

| id | name|

+----+------------+

|1 | new update |

|2 | new update |

|3 | new update |

+----+------------+

3 rows in set (0.00 sec)

--EOF--

时间: 2024-08-01 15:21:30

mysql load data infile 的用法(40w数据 用了3-5秒导进mysql)_Mysql的相关文章

mysql Load Data InFile OutFile数据导入导出

下面我们来看看关于mysql Load Data InFile  OutFile数据导入导出哦,这种方法是我们在windows cmd.exe目当下运行的然后再在dos命令方法使用下面的语句的.  Load Data InFile 相反的是 Select * From `TableTest` Into OutFile 'C:/Data_OutFile.txt'; 把表的数据导出 常用如下: Load Data InFile 'C:/Data.txt' Into Table `TableTest`

mysql LOAD DATA INFILE 命令模式导入超大数据库文件

导入数据库的过程中由于 文件过大 而且文件格式都不是标准的sql 文件 无法使用 source 导入 csdn 数据格式为 :用户名 # 密码 # 邮箱 各数据都以#隔开   导入sql 语句如下:  代码如下 复制代码 mysql -> LOAD DATA INFILE 'www.111cn.net.txt' INTO TABLE csdn -> FIELDS TERMINATED BY '#';     人人数据 格式 为 : 用户名 密码 中间以空格隔开 导入语句:  代码如下 复制代码

mysql load data infile 命令的数据导入

使用方式如下:  代码如下 复制代码 mysql>load data local infile "D:/ab.txt" into table mytbl(name,age);  如何load数据里面带反斜杠(backslash)"" 的数据 由于如果你没有指定FIELDS子句,则默认值为假设您写下如下语句时的值:  代码如下 复制代码 FIELDS TERMINATED BY 't' ENCLOSED BY " ESCAPED BY '\' 所以,如

mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)

mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式) 首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下,并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误 1.${table_name}换myisam,我们的场景对事务没啥要求,innodb引擎速度太慢了,原来导入12个小时都没导完 2.导入前修改参数和禁止索引更新mysql> SET SESSION BULK_

Load Data Infile批量导入数据

mysql提供了一个  load data infile xxx into table table_name  的方法来帮助批量的导入数据.这个操作是 select * out to file 操作的逆操作. 大体的使用方式是: shell>mysql -hxx -uxx -pxx database mysql>set names utf8; mysql>load data infile '/path_to_file/xx.csv' into table xx ; 但是在遇到文件不在my

mysql-Mysql中load data infile时能否为其它字段设值

问题描述 Mysql中load data infile时能否为其它字段设值 比如我现在有一张表,字段有a.b.c.d四个,load data时的txt文件只包含3个字段(a.b.c)的值,在导入的同时,我能为每条记录的d字段设置一个值吗?(比如操作的用户名等) 解决方案 [MySQL5.0]Load data infile 时遇到的奇怪问题mysql load data infile的使用mysql load data infile的使用 解决方案二: http://www.2cto.com/d

合理使用mysql中的load data infile导入数据

基本语法: load data  [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTIONALLY] enclosed by ''] [escaped by'' ]] [lines terminated by'n'] [ignore number lines] [(col_name,   )]   load data

mysql load data 设置导入数据编码

LOAD DATA INFILE 'E://temp//data.txt' IGNORE INTO TABLE cell_definition_test CHARACTER SET gbk FIELDS TERMINATED BY ',' LINES TERMINATED BY 'n' (cgi,msc_id,title,shape_type,lon,lat,radius,angle) 如果要指定编码 加上 CHARACTER SET gbk

sqlserver2008迁移-sql server2008数据导进mysql数据库时报错

问题描述 sql server2008数据导进mysql数据库时报错 我使用的是navicat for mysql工具导入:首先选择导入向导-->选择ODBC导入类型--->选择s数据源:sql server Native client for 10.0-->输入服务器名称.用户名.密码.数据库.点击测试连接时,显示链接成功.最后点确定时报错了:无法打开文件provider=sqlncli10........;server spn="":这个错误 怎么解决? 解决方案