.net 取大数据时服务器可用内存远远没有达到峰值可是报内存溢出,除了分页查询还能怎么处理?

问题描述

如题,望大神指点一二

解决方案

解决方案二:
不是你有100M内存,然后你这一个程序就可以用100M内存的……
解决方案三:
异步加载,当你下拉你的滚动条时,每下拉N个像素,则多请求一些数据加在Table末尾。其实还是分页的逻辑。数据太多了就一次不要加载完呗。不然还能怎么样?
解决方案四:
引用1楼starfd的回复:

不是你有100M内存,然后你这一个程序就可以用100M内存的……

那怎么能设置一下,让使用内存达到最大化呢,现在我遇到的问题就是,服务器的可用内存大概有6个G,实际上我取数据量超过400M就会出现内存溢出
解决方案五:
这个其实还要看你的数据对象是什么?在做什么操作。比如我就遇到过,对3、4百兆数据的DataTable做XML序列化,内存可以飙到1个多G(据说这个是.NETFramework自带XML序列化的一个小BUG)
解决方案六:
引用1楼starfd的回复:

不是你有100M内存,然后你这一个程序就可以用100M内存的……

我也不指望说6个G能够全部使用,起码让使用1个G也行
解决方案七:
引用4楼iAaronHua的回复:

这个其实还要看你的数据对象是什么?在做什么操作。比如我就遇到过,对3、4百兆数据的DataTable做XML序列化,内存可以飙到1个多G(据说这个是.NETFramework自带XML序列化的一个小BUG)

我是直接使用的DataTable向txt文件写数据,
解决方案八:
引用6楼NetVS的回复:

Quote: 引用4楼iAaronHua的回复:
这个其实还要看你的数据对象是什么?在做什么操作。比如我就遇到过,对3、4百兆数据的DataTable做XML序列化,内存可以飙到1个多G(据说这个是.NETFramework自带XML序列化的一个小BUG)

我是直接使用的DataTable向txt文件写数据,

那你是写之前程序占400M内存,然后写TXT,然后报错了?如果是这样,那你要看跟一下,看是什么操作导致内存飙升。还有,写文件的缓存是不是太大,可以考虑缓存设小一点,或者直接写文件,不用缓存。
解决方案九:
你有1G可用内存,这时有一个操作要申请2G的内存,就会出这个错你应该调试下这个错误发生的位置,为何会要这么多内存.net的集合(比如List)在自动增长时一般会要求当前容量的2倍如果可以的话,使用固定长度或者自定义的集合
解决方案十:
估计不.net的问题。可能是你的程序写有的问题。微软的东西,还是比较靠谱的。

时间: 2024-08-21 10:11:42

.net 取大数据时服务器可用内存远远没有达到峰值可是报内存溢出,除了分页查询还能怎么处理?的相关文章

poi-java 使用POI导出大数据,服务器内存不释放

问题描述 java 使用POI导出大数据,服务器内存不释放 RT,我用java 使用POI导出大数据, 数据是可以导出来.但是服务器的内存一直不释放.导一次 内存就会增加100M-2G 视数据量大小.当超过JVM设置的15G时,服务就会瘫痪掉,无法访问. 主要代码如下, MapList list = db.query(SQL); String EXCELNAME = (new StringBuilder(String.valueOf(unitId))).toString(); HSSFWorkb

当APP应用市场结合大数据时,将是一场风暴

01月21日,和讯博主于斌发表了题为<当APP应用市场结合大数据时,将是一场风暴>的博客,以下是博客全文: 正如马云所说,"很多人还没搞清楚什么是PC互联网,移动互联来了,我们还没搞清楚移动互联的时候,大数据时代又来了." 在过去的2015年,大数据时代的气息浓厚,步伐矫健.利用大数据的分析和预测,电商们正在为用户进行深度画像开展精准营销,让15分钟送货上门成为现实;结合大数据分析,互联网金融企业捕捉来自大众点评.豆瓣等社交网络有效信息,多维度分析借款客户信用情况,提高自身

大数据时代征信业发展探析

促进征信业在大数据背景下的跨越式发展应建立符合大数据的征信法律制度和业务规则体系;加强征信产品创新;提高大数据技术处理能力;健全大数据信息共享机制;提升征信监督管理水平;建立符合大数据的信息安全保护机制. 近年来,随着互联网技术的发展,大数据越来越受到关注,其应用逐步渗透至多个行业,开启了全新的数据时代.数据是征信业务开展的基础资料,征信活动主要是围绕数据进行采集.整理.保存.加工,并最终向信息使用者提供.大数据不仅为征信业发展提供了极为丰富的数据信息资源,也改变了征信产品设计和生产理念,成为了

Memcached缓存大数据时对服务器内存、CPU的影响及其对硬件的配置需求

最近公司在进行缓存框架方面的调研,我主要对Memcached在缓存大数据量情况下对系统硬件的影响和需求做了调研,以下是一些测试数据和调研结果:  Memcached缓存不同数据量测试情况:           一.测试环境配置信息    1. 缓存服务器配置信息:一共4台 ,三台是公司服务器,一台是本机         node1: 单核 1G内存         node2: 单核 1G内存         node3: 单核 1G内存         node4: 4核  8G内存    2

勒索软件盯上了大数据 Elasticsearch服务器遭受勒索软件攻击 中国境内1956个设备可能受影响

据Sodan数据显示,暴露在公共互联网上的35,000个Elasticsearch集群可能遭受一系列勒索软件攻击,ZDNet数据显示其中中国境内有59台服务器受到影响,但据NTI绿盟威胁情报中心称,国内暴露在互联网上的ElasticSearch设备数字已经达到1956个.如今,攻击者们也很清楚"大数据"在使用者心中的分量. 受到攻击的服务器,可以看到类似下面的文本,要求支付比特币以便解密数据. 根据攻击者留下的邮件地址及比特币地址.勒索文本等信息,研究员将勒索软件的攻击者分为三类,并给

胡传平:“大数据”时代考问网络安全

4月29日是首都网络安全人.网络安全再次成为大家关注的焦点和热议的话题. 实际上在4月7日,网络安全正面临着一场大难.就在这天,一个代号叫"心脏出血"的重大互联网安全漏洞被国外黑客曝光.这次发生漏洞的是国际著名安全协议OpenSSL,目前世界上大概有三分之二的网络服务器正在使用,包括购物.网银.社交.邮箱等. 据统计,在4月7日至8日两天时间,共计约2亿网民访问了存在漏洞的网站.也就是说,他们登录服务器时显示的用户名.密码和信用卡等信息,很有可能会被人盗取. 截至4月10日,在中国3万

大数据时代 服务器厂商的“危”与“机”

在企业业务转型过程中,在业务发展的不同阶段,企业的各种负载对服务器的性能提出了不同要求.新应用的快速部署要求服务器能够按需配置资源,实现应用性能动态加速,同时还要满足高弹性及高可扩展性的需求.服务器的可管理性和耗能直接影响到企业IT的管理效率和运营成本,也直接决定着企业IT的长期投资回报. 但对于服务器厂商而言,他们更倾向于提供通用性服务器产品,很难专注于将产品细分甚至满足每一位用户特定的需求.而对于企业而言,他们也没有足够能力组装出自己需求的产品,加之传统服务器品牌定制难.售价高,传统DIY厂

大数据时代云存储赋予更多使命

大数据时代,PC互联网,移动互联网以及社交化平台的发展,让数据呈现几何化.爆炸式增长.而随着数据来源渠道的增多,网络的数据也不再是单一的数据类型,大量的非结构化数据涌现改变了数据的组成模式.如今大数据使得整个互联网科技都面临新一轮的洗牌,如何利用大数据将成为决定企业未来命运的关键! 那么大数据究竟有多大呢?可能很多人会问这个问题.2013年,世界上存储的数据预计能达到约1.2泽(约12亿TB)字节.12亿TB是个什么概念?如果把这些数据全存储于标准的光盘,这些光盘可以堆成五堆,每一堆都可以伸到月

数读交通:高德取大数据服务用户 呼吁群策群力

出门堵车,出租车打不到--每每出门这些烦恼都会困扰着我们,智能交通已经不仅仅是一种畅想,而是每个人都亟待享受到的.车驶在路上,人走在街边,不知不觉中他们都成为智能交通中的大数据,"解铃还须系铃人",智能交通需要大数据来给出答案. 本期<数读>聚焦交通行业,展示大数据在智能交通上的用武之地.为此,CNET采访了高德交通信息事业部总经理董振宁,他向CNET介绍,高德多年来积累了大量的交通流量类和交通事件类数据,并将这些数据的分析应用到高德产品中,为用户推荐便捷的出行路线,他还呼