百万数据查询问题

问题描述

现通过存储过程从数据中取出近一百万条数据,装载到一个DataTable中,现在要对这一百万的数据进行遍历,怎么写好

解决方案

解决方案二:
百万数据遍历!!!你不能明确点查询,缩小数据量吗
解决方案三:
你是30分钟进行查询一次吗?你们的系统是单用户使用吗?
解决方案四:
首先,百万数据装到datatable,我不是很看好。其次,具体操作这些数据的逻辑,能否通过存储过程来搞定呢?最后,如果数据不变,那么可以装到datatable中缓存起来。如果数据不停变更,那么你装在数据到datatable然后操作。显得不太明智啊。
解决方案五:
我只能说很奇葩的需求
解决方案六:
引用4楼shoppo0505的回复:

我只能说很奇葩的需求

+1.建议直接拒绝这种想法
解决方案七:
一次取100多万的数据数据库会不会直接死在那了
解决方案八:
这个不现实,取出满足某些条件的数据即可
解决方案九:
。。。为啥要一次取一百万光取就很费劲了还要遍历。。。
解决方案十:
关注这个问题
解决方案十一:
遍历的目的是什么,修改数据什么的可以在数据里面直接做,显示数据的话分页。
解决方案十二:
引用3楼hanjun0612的回复:

首先,百万数据装到datatable,我不是很看好。其次,具体操作这些数据的逻辑,能否通过存储过程来搞定呢?最后,如果数据不变,那么可以装到datatable中缓存起来。如果数据不停变更,那么你装在数据到datatable然后操作。显得不太明智啊。

往来对账明细,数据很大,涉及到一些列计算,在存储过程中处理更麻烦,能在存储过程中计算的都是计算好了的
解决方案十三:
方案极度不合理。往来账是顺序账目,你就不能取一部分处理一部分?
解决方案十四:
建议用多少取多少一次取一百万条还要遍历极度不合理
解决方案十五:
引用11楼simplysky的回复:

Quote: 引用3楼hanjun0612的回复:
首先,百万数据装到datatable,我不是很看好。其次,具体操作这些数据的逻辑,能否通过存储过程来搞定呢?最后,如果数据不变,那么可以装到datatable中缓存起来。如果数据不停变更,那么你装在数据到datatable然后操作。显得不太明智啊。

往来对账明细,数据很大,涉及到一些列计算,在存储过程中处理更麻烦,能在存储过程中计算的都是计算好了的

可是百万的数据量,你是如何展示的呢?一般来说需要分页显示的。而且如果你是要导出xls的话,百万应该也不会有人看。一般是人家根据条件查询后,来获取自己要的信息吧?
解决方案:
百万条数据,你要查询多久啊?这个数据量有点大,查询要好久。

时间: 2024-10-25 20:54:50

百万数据查询问题的相关文章

如何解决mysql查询百万数据时出现大量sleep的进程

问题描述 如何解决mysql查询百万数据时出现大量sleep的进程 如何解决mysql查询百万数据时出现大量sleep的进程: 当使用jdbc 查询数据量为100多万的数据时,mysql会出现大量sleep的进程,然后程序便会卡死在那儿 解决方案 描述的有点泛泛,如果能把使用场景.涉及库表定义发一下会更容易分析. 大量sleep进程可能并不是问题,因为如果使用到连接池的话,一开始就是初始化一些连接,这些连接没有使用的话,在mysql看可能就是sleep的. 从你描述,感觉"查询数据量为100多万

Java一次性查询几十万 几百万数据解决办法

Java查询一次性查询几十万,几百万数据解决办法. 很早的时候写工具用的一个办法,当时是用来把百万数据打包成rar文件. 所以用了个笨办法. 希望高手指导一下,有什么好方法没有啊. 1.先批量查出所有数据,例子中是一万条一批. 2.在查出数据之后把每次的数据按一定规则存入本地文件. 3.获取数据时,通过批次读取,获得大批量数据. 以下是查询数据库.按批次查询 public static void  getMonthDataList() {           ResultSet rs = nul

独家丨专访雅捷信息董事长、NVIDIA全球副总裁,看“非主流”的GPU数据库如何升级银行数据查询与加工

2012 年,正在哈佛大学写硕士论文的 Todd Mostak 需要查询大量的论文参考资料,他发现使用以 CPU 为处理核心的数据库系统做资料查询速度非常缓慢.而且很多时候,Todd Mostak 在睡觉之前输入一个查询命令,第二天醒来发现系统提示参数输入错误. 当时 Todd Mostak 选修了由 MIT 数据库研发组教授的 CSAIL 数据库课程,为了加快论文进度,Todd Mostak 通过自己在 CSAIL 数据库课程中学到的知识开发了一个简易的数据库系统,该数据库是通过使用廉价的.为

java-大数据查询的解决方案,求大神赐教。

问题描述 大数据查询的解决方案,求大神赐教. 想问个问题 :java大数据查询的解决方案. 导致查询速率较慢的原因:1. 查询的基础的数据量很大 (百万级别) 2. 关联的表较多 解决方案 如果对实时性要求不是很高,可以对一些查询结果做缓存,冗余字段,或者临时表,比如把关联的字段先放入主表的冗余字段.比如对一些统计值每天或者每小时算出一个统计值存入. 对历史数据库封存,并且冻结统计. 另外,分布式数据库,分库分表,多机查询等也可以提高性能.这个要具体优化了. 解决方案二: 分层做多次哈希,分解查

MySQL单表百万数据记录分页性能优化技巧_Mysql

测试环境: 先让我们熟悉下基本的sql语句,来查看下我们将要测试表的基本信息 use infomation_schema SELECT * FROM TABLES WHERE TABLE_SCHEMA = 'dbname' AND TABLE_NAME = 'product' 查询结果: 从上图中我们可以看到表的基本信息: 表行数:866633 平均每行的数据长度:5133字节 单表大小:4448700632字节 关于行和表大小的单位都是字节,我们经过计算可以知道 平均行长度:大约5k 单表总大

数据库的数据查询中使用JOIN及子查询有什么缺陷,该如何改善

问题描述 数据库的数据查询中使用JOIN及子查询有什么缺陷,该如何改善 数据库的数据查询中使用JOIN及子查询有什么缺陷,该如何改善 解决方案 泛泛说不好说,关键看你的查询算法.特别是子查询,用的不好在时间和空间上开销很大.这个和编程中的算法类似,你需要对查询本身和算法本身要有理解,这个改善不是查询本身的改善.而是寻求更高效的算法. 解决方案二: http://segmentfault.com/q/1010000000134455 最重要的还是设计好数据库schema等,来减少数据的混合查询 解

利用JQuery方便实现基于Ajax的数据查询、排序和分页功能

ajax|分页|排序|数据        之前很少会用javascript去实现页功能主要怕麻烦,但了解JQuery后这种想法发生了变化:有了这样的脚本组件就可以在编写脚本时方便和HTML隔离出来,这样编写高重用性的脚本就更方便.下面就是介绍在学习JQuery过程中编写的基于Ajax的数据查询.排序和分页功能的复用脚本,只要遵循脚本的某些规则描述HTML把脚本文件引入就可以方便实现以上描述的功能.        先看下实现功能的脚代码: /**应用脚本规则:           引用脚本: JQ

PHP到MySQL数据查询过程概述

HP层到MySQL层 Php到sql组件层次如下图所示: ext/mysqli和ext/mysql 是客户端的扩展程序库(库函数) ,在客户端脚本层面的扩展库. Mysqli库是mysql库的扩展版本,扩展版本增加了列版定(Bind Column)绑定.PDO (PHP Data Object) 是另外一种面向数据对象的 扩展库.这些扩展库直接面向编程者,而它的底层实现是mysql连接引擎(如mysqlnd和libmysql )(参考 http://bbs.chinaunix.net/threa

运用 ADO.NET 对象优化数据查询代码

ado|对象|数据|优化    毫无疑问,ADO.NET 向人们提供了一种功能强大.仿真数据库的对象模型,它可以将数据记录保存到内存中.尤其是ADO.net 的 DataSet 类,它不但在功能上相当于数据库表的集中存储器(central repository),而且支持表间的各种约束和逻辑关系.进一步说来,DataSet 对象其实是一种离线数据容器.     乍一看,只要把 DataSet 类的所有特性联合起来,就能消除 SQL 查询命令中的复杂子句,比如那些泛滥成灾且层层嵌套的 INNER