C# dataset 内存溢出,高手请教!

问题描述

表有200多个字段,400万记录。我知道数据量太大。但是没办法,我只能去处理这个表,而且必须为断开式,有高手能帮助解决一下吗?

解决方案

解决方案二:
现在是什么问题?查询不出来还是怎么样了?是不是Fill的时候超时了?个人觉得还是从优化SQL去入手,将一些查询条件处理好一点,比如哪一个字段可以将整个数据的范围缩小,那么就把这个字段放在最前面。
解决方案三:
难道你必须一次将400W数据全部取出来吗?
解决方案四:
如果你必须一次将4M条记录读入内存,那我唯一能想到的就是让你换一台拥有更大内存的机器了。不过这样的需求是很奇怪的,多数情况下不应该有。
解决方案五:
楼主最好把详细需求贴出来
解决方案六:
怎么可能有这种情况,什么人会采用把400万条记录放到自己电脑里断开时处理????
解决方案七:
LZ的业务需求有问题..一下这么多一般的机子肯定的会加载延时...
解决方案八:
呵呵,又是批量数据处理。。楼主没有必要全加载进去吧。
解决方案九:
能不能分批处理啊,间隔临时表,处理结果放进去,全处理完后再往回放,慢是慢了些
解决方案十:
数据亮啊,直接把数据读写到本地文件里边行不行
解决方案十一:
倒退十几年,人家用200M内存的机器照样处理上千万记录。如今的程序员动不动就撂挑子、说“没办法,我只能....,我必须....”。我想要解决,还是先沉下一些,改变这个断言。

时间: 2024-09-20 00:25:44

C# dataset 内存溢出,高手请教!的相关文章

模板-求ireprot导致系统挂掉服务器内存溢出求高手指点

问题描述 求ireprot导致系统挂掉服务器内存溢出求高手指点 我用的ireport 制作的pdf模板最近在系统中时不时出现因为某个jasper文件导致系统挂掉,服务器内存被调用这个文件的一个进程占用完了但是再次在系统中打印预览这个文件又正常了.不存在数据量大的问题,求各位高手指点下可能是什么原因导致的!!

maxpermsize-求高手帮忙啊,我的服务器内存有32G,,,tomcta老是报内存溢出啊,-

问题描述 求高手帮忙啊,我的服务器内存有32G,,,tomcta老是报内存溢出啊,- 我在网上设置了这个JAVA_OPTS="-server -Xms900m -Xmx900m -XX:PermSize=256M -XX:MaxNewSize=256m -XX:MaxPermSize=256m 可以了,但是过3个小时,又内存溢出了,不知道怎么去改啊, 解决方案 JVM:JAVA_OPTS="-server -Xms2048m -Xmx2048m -Xss512k" -serv

请教datagridview(50W)行导出csv内存溢出的问题

问题描述 在执行datagridview数据导同时,经常会出现内存溢出,在过程中已经使用过清空缓冲区操作,但不知为何还会溢出谢谢.代码是vb.net写的,因为vb.net区无人回答,故过来请教下,谢谢PublicSubputcsv(ByValdgvAsDataGridView)DimpathAsString=""DimsaveexclefileAsNewSaveFileDialogsaveexclefile.Filter="txt文件(*.txt)|*.txt"sa

新开发的系统后台是Websphere portal server V6,运行一段时间后wps后台报内存溢出。请各位高手分析一下原因,帮忙解决一下。谢了!!!

问题描述 新开发的系统后台是WebsphereportalserverV6,运行一段时间后wps后台报内存溢出.请各位高手分析一下原因,帮忙解决一下.谢了!!! 解决方案 解决方案二:内存启动时开多大的?应用程序也存在引起OOM的问题,一步步分析定位来解决吧后台的log发出来解决方案三:先用内存分析工具确定是不是自己的应用有问题,排除了这个问题,再从portal入手找问题,看是不是portal自带数据库的问题......解决方案四:从网上找一个内存分析工具看一下那个对象出现了泄漏,这个不通过工具

关于数据压力测试,内存溢出测试。

问题描述 现有的OA支撑着全公司(各子公司包括办事处)的日常运行,系统是用C#+SQLServer写的,用户数接近400多,系统每天刚运行的时候服务器大概占用的内存都是100多M200M左右,但随着使用时间的增加,一天运行下来系统会越来越慢,每天下班一查看,数据库服务器物理内存的占用量几乎接近2G(物理内存约1.7个G,虚拟内存约1.8个G),经常因为这样导致短时间的系统"休克",本人估计是因为系统内存内存溢出导致系统占用内存剧增的,直接造成系统运行缓慢,甚至"休克"

seconnection-java 连接sde内存溢出 arcgis

问题描述 java 连接sde内存溢出 arcgis SeLayer insertLayer=null; SeConnection conn=null; try { conn = new SeConnection(server,81, database, user, password); Vector layerList = conn.getLayers(); for (int index = 0; index < layerList.size(); index++) { SeLayer lay

Socket线程池,内存溢出

问题描述 最近在做一个网络通讯的项目,用的是Socket线程池,容器时jboss4.2.2.系统运行一段时间后老是出现内存溢出错误.我用jprofile监控发现垃圾回收老是只回收一点,下面是各个类的内存使用情况图(只截取了内存使用较大的类),哪位高手帮忙分析一下是什么地方内存泄露了.

java BufferedImage加载图片内存溢出

问题描述 有个需求是生成一张1700*2338像素的图片并在图片上添加文字,大小大概是160k左右,单独在main方法里面用java.awt.image.BufferedImage类生成图片是没问题的,但是在web后台一调用BufferedImage的构造方法就报java.lang.OutOfMemoryError:Javaheapspace,内存溢出,代码如下:intwidth=1700;intheight=2338;BufferedImagebuffImage=newBufferedImag

outofmemoryexception-VS2013 coded ui test 编码的UI测试 导致程序内存溢出

问题描述 VS2013 coded ui test 编码的UI测试 导致程序内存溢出 我在使用VS coded ui test对一个Winform的程序做自动化测试的时候,每次都在最后抛出OutOfMemoryException的异常,不知道怎么解决. 大家能不能帮忙解决下? 有没有什么方法控制或者监测内存使用情况啊?