infobright导入数据遇到特殊字符报错的解决方法_Mysql

目前在用的是社区版的infobright,不支持DML功能,只能用LOAD DATA方式导入数据。

如果元数据中有特殊控制字符,导入过程中经常会报错,很是恼火。应对策略有两种方法:

1.设置Reject File导入之前,设定 @BH_REJECT_FILE_PATH 和 @BH_ABORT_ON_COUNT 就可以忽略多少条导入失败的记录,并且将这些记录保存在指定文件

复制代码 代码如下:

/** when the number of rows rejected reaches 10, abort process **/

set @BH_REJECT_FILE_PATH = '/tmp/reject_file';

set @BH_ABORT_ON_COUNT = 10;

BH_ABORT_ON_COUNT 设定为 -1 的话,表示永不忽略。

也可以设置 BH_ABORT_ON_THRESHOLD 选项,该选项表示有最多多少百分比的数据允许被忽略,因此该选项的值是小数格式,例如 BH_ABORT_ON_THRESHOLD = 0.03(表示3%)

2.导出时指定结束符此外,还可以在导出数据时制定结束符,并且设定忽略哪些转义字符(\、”、' 等字符),例如:

复制代码 代码如下:

select fields_list... into outfile '/tmp/outfile.csv' fields terminated by '||' ESCAPED BY '\\' lines terminated by '\r\n' from mytable;

3.或者,将行间隔符设定为其他特殊标识,例如:select fields_list… into outfile ‘/tmp/outfile.csv' fields terminated by ‘||' ESCAPED BY ‘\\' lines terminated by ‘$$$$$\r\n' from mytable;当然了,这种情况下,实际数据行中就不能存在 “$$$$$\r\n” 这个值了,否则会被当成换行标识。

时间: 2024-08-24 13:51:27

infobright导入数据遇到特殊字符报错的解决方法_Mysql的相关文章

MySQL Administrator 登录报错的解决方法_Mysql

使用MySQL Administrator 登录,报错: Either the server service or the configuration file could not be found.Startup variable and service section are there for disabled. 使用Root 登录进去以后看到管理功能都是禁止掉的,提示: This section is only avaliable when connected to localhost

MySQL中字符串与Num类型拼接报错的解决方法_Mysql

发现问题 图片地址如下 yun_qi_img/1473574486942944.jpg 需要实现的效果是要加上尺寸,如以下效果 yun_qi_img/1473574486942944.jpg|1200*675 一开始想当然使用 UPDATE tag_group SET cover = cover + '|1200*675' WHERE id = 1; 结果报错 Data truncation: Truncated incorrect DOUBLE value: 'yun_qi_img/14735

开启bin-log日志mysql报错的解决方法_Mysql

创建存储过程时 出错信息: 复制代码 代码如下: ERROR 1418 (HY000): This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you *might* want to use the less safe log_bin_trust_function_creators variable) 原因: 复制代码

oracle数据库-oracle 创建的dblink导入数据不成功报错

问题描述 oracle 创建的dblink导入数据不成功报错 执行数据导入时报:ORA-24777: 不允许使用不可移植的数据库链路

sqoop从MySQL导入数据到hive报错 class not found

问题描述 sqoop从MySQL导入数据到hive报错 class not found 解决方案 sqoop 导入oracle 报错 Imported Failed : Attempted to generate class with no columns问题解决办法mysql启动报错 MySQL manager or server PID file could not be found! [FAILED]启动HIVE 服务报错 HWI WAR file not found 解决方案二: 您好,

Win8应用商店报错的解决方法

Win8应用商店报错的解决方法: 1.我们先打开应用商店哦! 2.我们应用装了多少? 装了Win 8的系统怎么能不安装几个应用试试?但是我安了多少应用了呢?这个怎么看啊?还是那句话查查边边角角~其实右键屏幕就能看见了,有个"你的应用": 点开它,就能看到咱们安装什么应用了~ 安装已购买应用 多设备办公的朋友可能在某台设备上购买了一个应用,那么怎么在其他电脑享受到这些应用呢? 首先,当然要保证使用的是同一个Microsoft账户了~ 之后打开应用商店,右键单击空白处,你的应用. 诶,是不

未能加载文件或程序集 Newtonsoft.Json, Version=4.5.0.0 的报错,解决方法

原文:未能加载文件或程序集 Newtonsoft.Json, Version=4.5.0.0 的报错,解决方法 使用httpclient测试webapi的时候客户端报错: {"未能加载文件或程序集"Newtonsoft.Json, Version=4.5.0.0, Culture=neutral, PublicKeyToken=30ad4fe6b2a6aeed"或它的某一个依赖项.找到的程序集清单定义与程序集引用不匹配. (异常来自 HRESULT:0x80131040)&q

ArcGIS API for Silverlight 调用WebService出现跨域访问报错的解决方法

原文:ArcGIS API for Silverlight 调用WebService出现跨域访问报错的解决方法       群里好几个朋友都提到过这样的问题,说他们在Silverlight中调用了WebService方法,总报这个错误,贴图如下: 解决办法:      1.确定你的Silverlight项目及承载Silverlight的Web程序根目录下都包含2个跨域文件,分别是crossdomain.xml和clientaccesspolicy.xml:  crossdomain.xml文件,

sqlserver 遇到以零作除数错误的处理 不报错的解决方法

原文:sqlserver 遇到以零作除数错误的处理 不报错的解决方法 使用sqlserver 的选项来禁止出现以零除的错误中断,让而让其为null set ansi_warnings offSET ARITHABORT offSET ARITHIGNORE on select 1/0 显示结果 无列名  null