问题描述
表有200多个字段,400万记录。我知道数据量太大。但是没办法,我只能去处理这个表,而且必须为断开式,有高手能帮助解决一下吗?
解决方案
解决方案二:
现在是什么问题?查询不出来还是怎么样了?是不是Fill的时候超时了?个人觉得还是从优化SQL去入手,将一些查询条件处理好一点,比如哪一个字段可以将整个数据的范围缩小,那么就把这个字段放在最前面。
解决方案三:
难道你必须一次将400W数据全部取出来吗?
解决方案四:
如果你必须一次将4M条记录读入内存,那我唯一能想到的就是让你换一台拥有更大内存的机器了。不过这样的需求是很奇怪的,多数情况下不应该有。
解决方案五:
楼主最好把详细需求贴出来
解决方案六:
怎么可能有这种情况,什么人会采用把400万条记录放到自己电脑里断开时处理????
解决方案七:
LZ的业务需求有问题..一下这么多一般的机子肯定的会加载延时...
解决方案八:
呵呵,又是批量数据处理。。楼主没有必要全加载进去吧。
解决方案九:
能不能分批处理啊,间隔临时表,处理结果放进去,全处理完后再往回放,慢是慢了些
解决方案十:
数据亮啊,直接把数据读写到本地文件里边行不行
解决方案十一:
倒退十几年,人家用200M内存的机器照样处理上千万记录。如今的程序员动不动就撂挑子、说“没办法,我只能....,我必须....”。我想要解决,还是先沉下一些,改变这个断言。
时间: 2024-09-20 00:25:44