问题描述

1w条的excel表格导入mysql数据中性能的问题

业务规则：1w条的excel表格导入mysql数据中，同时要校验数据的完整性和合法行以及判断是否是第一次导入；excel中每行记录对应数据库中两个表；原来的方案是把excel直接导入到临时表中，然后通过存储过程再把临时表数据中满足条件的数据抽取到目标表中；现在发现一个问题导入到临时表话费了将近100秒，再通过存储过程抽取到目标表（占时还没有写存储过程转换）中又将花费好多时间这给用户带来的体验不是很好。
在这里请问各位有没有好的解决方案！！！！比如有好的技术解决方案或业务解决方案都可以

解决方案

http://blog.chinaunix.net/uid-25909722-id-4049167.html

解决方案二：
验证数据完整性后，进行批量操作

解决方案三：
先用脚本代码对文件进行完整性验证，这样对于数据库就只需要一次性导入了、把时间放到脚本代码，而不是由数据库来做，效率要高