操作几万条,甚至几十万条数据导入导出 用什么方式比较好?除了数据库外,用NPOI好像不行,有没有大神操作过几十万条EXCEL数据的?

问题描述

操作几万条,甚至几十万条数据导入导出用什么方式比较好?(这里指的导入导出是数据导入到程序里,进行一些修改操作,然后再导出目前操作5000条数据是没问题的,但是超过1W条就报错了,)报了一个这样的错误:其他信息:Exception:WrongLocalheadersignature:0x5757575A我觉得应该是长度受限制了,但是又没有什么好的方法解决除了数据库外,用NPOI好像不行,有没有大神操作过几十万条EXCEL数据的?是怎么解决的求指教

解决方案

解决方案二:
没人给回复呀?
解决方案三:
你用npoi到xlsx应该没问题啊
解决方案四:
excel单表最多只能65000行吧,而且半天打不开。从实际情况出发,我认为单次导出不宜超过5000行。导入就没什么讲究了,把Excel文件当做OLDB数据源就好了
解决方案五:
导出用SqlBulkCopy类,导入用NPOI
解决方案六:
我操作过3万条左右的Excel表格,很卡的。最后换了数据库来整。批量操作可以用SqlBulkCopy。
解决方案七:
引用4楼gaind的回复:

导出用SqlBulkCopy类,导入用NPOI

说反了,导入用SqlBulkCopy,导出NPOI,我操作过几十万数据都是OK的
解决方案八:
引用6楼gaind的回复:

Quote: 引用4楼gaind的回复:
导出用SqlBulkCopy类,导入用NPOI

说反了,导入用SqlBulkCopy,导出NPOI,我操作过几十万数据都是OK的

你好,我是读取excel表数据,导入到程序内,然后进行修改操作,然后再导出excel表,跟数据库没关系啊就是因为数据量太大不知道该怎么解决
解决方案九:
客户端获取EXCEL并读取单元格内容,然后通过XMLHTTP上传导入就得了嘛
解决方案十:
引用7楼xiaonancode的回复:

Quote: 引用6楼gaind的回复:
Quote: 引用4楼gaind的回复:
导出用SqlBulkCopy类,导入用NPOI

说反了,导入用SqlBulkCopy,导出NPOI,我操作过几十万数据都是OK的

你好,我是读取excel表数据,导入到程序内,然后进行修改操作,然后再导出excel表,跟数据库没关系啊就是因为数据量太大不知道该怎么解决

简单一点的办法就是:1、使用SqlBulkCopy---读取excel----入库2、绑定数据库,展示数据进行修改,同时修改做入库处理3、使用NPOI再导出
解决方案十一:
分页提取啊,程序里,你也不会一下子拉几万条数据显示吧。肯定是一页一页修改数据。基本也就几百条一页顶天了吧?
解决方案十二:
如果是上传存数据库,建议循环获取拼接string,然后一次执行。如只是获取显示,建议用分页

时间: 2024-10-05 17:06:05

操作几万条,甚至几十万条数据导入导出 用什么方式比较好?除了数据库外,用NPOI好像不行,有没有大神操作过几十万条EXCEL数据的?的相关文章

求助大神,爬虫爬取京东评论数据爬一小部分(大概100条评论)就爬不到评论了,返回空值了

问题描述 求助大神,爬虫爬取京东评论数据爬一小部分(大概100条评论)就爬不到评论了,返回空值了 python 爬取评论数据,爬到一百多条评论,就返回空值了,无法继续爬下去了 解决方案 用fiddler调试下,看下是不是京东有限制.比如让你过多少时间再访问,或者要你输入验证码. 解决方案二: 如果要爬京东评论,已经有大牛写出很成熟的代码了,推荐大家去看看,专门讲了怎么突破京东的限制:http://blog.csdn.net/youmumzcs/article/details/51396283

Winform开发框架之通用数据导入导出操作的事务性操作完善

1.通用数据导入导出操作模块回顾 在我的Winfrom开发框架里面,有一个通用的导入模块,它在默默处理这把规范的Excel数据导入到不 同的对象表里面,一直用它来快速完成数据导入的工作.很早在随笔<Winform开发框架之通用数据导入 导出操作>里面就很全面的介绍过它的相关功能了,在代码生成工具Database2Sharp里面,生成的 Winfrom界面代码也已经把它的调用代码放进去了,因此使用起来真是很好,很开心. 在不断的项目实践中,发现使用基于Sqlite的客户端作为单机版的操作也越来越

精妙的SQL和SQL SERVER 与ACCESS、EXCEL的数据导入导出转换_MsSql

* 说明:复制表(只复制结构,源表名:a 新表名:b)       select * into b from a where 1<>1     * 说明:拷贝表(拷贝数据,源表名:a 目标表名:b)       insert into b(a, b, c) select d,e,f from b;     * 说明:显示文章.提交人和最后回复时间       select a.title,a.username,b.adddate from table a,(select max(adddate

asp.net一个2011年入行到现在工作五年的程序员的自我怀疑,请各位大神给我指一条进阶之路

问题描述 [无以为报,100分求真实经验]我就是一个工作五年月薪不过万的asp.net程序员,这几年主要工作事项是二次开发OA系统到微信商城,然而我现在的水平,跟三年前,或者是四年前,甚至于初学者差不多,ps只会扣扣图,css只能调整下别人的,js也只是抄袭修改偶尔callback写个提示框,JQ也只是用get,post请求,SQL也只是一般基本存储过程,视图(无大数据优化处理),每天都这样重复的做着一个又一个的页面,一个又一个的功能.....感问路在何方,回头想想一无是处,我能做的,所有人都能

求大神帮我写一条查询增量的sql语句

问题描述 求大神帮我写一条查询增量的sql语句 如图,我有这些字段,每天都会插入一些数据 我现在需要获取的内容是 今天的read,click数据,和今天的减昨天的差值,和aid,规则如图 求大神帮我写一个 解决方案 SELECT SUM(d.read_num) AS READ, SUM(d.click_num) AS click, SUM(d.read_num - t.read_num) AS diffREAD, SUM(d.click_num - t.click_num) AS diffcli

Winform开发框架之通用数据导入导出操作

做了很多Winform的项目,对于数据导入,一直也有自己的理解,由于一般的业务系统,经常性的数据导入时很正常的业务需求,因为毕竟使用Excel来操作数据也很方便,或者由于系统之间的数据交换需要,我们需要提供一个入口给客户导入所需要的数据.但是导入数据的时候,不同的业务数据对应不同的Excel文件,很难做到统一,但如果是每个业务模型,都创建一个不同的导入界面来操作Excel数据,又会觉得可能某种程度上重复劳动,增加开发及维护成本. 那么有无一种介于两者之间的方法,来实现效率的最优化,并且能够统一利

SQL Server数据导入导出技术概述与比较

当我们建立一个数据库时,并且想将分散在各处的不同类型的数据库分类汇总在这个新建的数据库中时,尤其是在进行数据检验.净化和转换时,将会面临很大的挑战.幸好SQL Server为我们提供了强大.丰富的数据导入导出功能,并且在导入导出的同时可以对数据进行灵活的处理. 在SQL Server中主要有三种方式导入导出数据:使用Transact-SQL对数据进行处理:调用命令行工具bcp处理数据:使用数据转换服务(DTS)对数据进行处理.这三种方法各有其特点,下面就它们的主要特点进行比较. 一.使用方式的比

关于 Oracle 的数据导入导出及 Sql Loader (sqlldr) 的用法

在 Oracle 数据库中,我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法: 1. A 表的记录导出为一条条分号隔开的 insert 语句,然后执行插入到 B 表中2. 建立数据库间的 dblink,然后用 create table B as select * from A@dblink where ...,或 insert into B select * from A@dblink where ...3. exp A 表,再 imp 到 B 表,exp 时可加查询条件4. 程序

SQLServer 数据导入导出的几种方法小结_MsSql

1. SQL Server导入导出向导,这种方式是最方便的.导入向导,微软提供了多种数据源驱动,包括SQL Server Native Cliant, OLE DB For Oracle,Flat File Source,Access,Excel,XML等,基本上可以满足系统开发的需求. 同样导出向导也有同样多的目的源驱动,可以把数据导入到不同的目的源. 对数据库管理人员来说这种方式简单容易操作,导入时SQL Server也会帮你建立相同结构的Table. 2. 用.NET的代码实现(比如有一个