*疯了!期待Eye牛人解答超超大文件分析问题!

问题描述

小弟是新到咱们论坛的,听说这里牛人较多,现有个超出小弟能力的问题期待大家给出意见:读取300多个每个2G的文件,每个文件都是5列N多行,由于需要从中选出某行某列的数,所以需要按行依次扫描,性能很低很低,所以想到了内存文件映射,但是好像内存文件映射没有读行的方法readLine();请大家帮忙分析下,如何能把FileChannel与readLine()结合呢?所以请大家给小弟指点下迷津!!!严重感谢大家!!!问题补充:哦,我的业务逻辑主要是每个文件的行数都是一样的在30000000行左右,我需要每隔几十行取一次那一行规定列的数据。比如取第1000行,第2000行的数据,每行有五列,中间用空格分隔。

解决方案

内存映射文件
解决方案二:
不好意思,不知道!看看!学习学习!
解决方案三:
把应用场景写出来呀,一行一行的读,300个2G的文件,无论如何都慢。根据你的应用场景,大家会拿出意见的,比如全文检索,多线程,预读取之类的。

时间: 2024-09-19 20:34:39

*疯了!期待Eye牛人解答超超大文件分析问题!的相关文章

**等待强人解答超超大文件解析的问题

问题描述 小弟是新到咱们论坛的,听说这里牛人较多,现有个超出小弟能力的问题期待大家给出意见: 读取300多个每个2G的文件,每个文件都是5列N多行,由于需要从中选出某行某列的数,所以需要按行依次扫描,性能很低很低,所以想到了内存文件映射,但是好像内存文件映射没有读行的方法readLine();请大家帮忙分析下,如何能把FileChannel与readLine()结合呢? 所以请大家给小弟指点下迷津!!!严重感谢大家!!!问题补充:哦,我的业务逻辑主要是每个文件的行数都是一样的在30000000行

windows server 2008-高分求高手牛人解答困惑 - SCM启动的某进程创建WLBS子进程操作远端cluster node 失败

问题描述 高分求高手牛人解答困惑 - SCM启动的某进程创建WLBS子进程操作远端cluster node 失败 OS:Windows server 2008 / Windows server 2008 r2 IDE:Visual C++ 2005 我有一个程序A,Win32的程序,service的形式,在windows的service control manager中启动.A中调用CreateProcess创建WLBS命令去启动和停止远程的cluster节点.但是无论如何也不能启动或者停止远程

网站建设-个人小白,对jsp不太熟悉,做一个网站,遇到了点问题,在线等牛人解答

问题描述 个人小白,对jsp不太熟悉,做一个网站,遇到了点问题,在线等牛人解答 SEP_PADDING = 5; HANDLE_PADDING = 7; var yToolbars = new Array(); var YInitialized = false; function temp() { } function insertHtml(HtmlCode) { var win=window.editor.Composition.document;//其中编辑区域是gledit.jsp中的一个

计算机视觉领域的一些牛人博客,超有实力的研究机构等的网站链接

以下链接是本人整理的关于计算机视觉(ComputerVision, CV)相关领域的网站链接,其中有CV牛人的主页,CV研究小组的主页,CV领域的paper,代码,CV领域的最新动态,国内的应用情况等等.打算从事这个行业或者刚入门的朋友可以多关注这些网站,多了解一些CV的具体应用.搞研究的朋友也可以从中了解到很多牛人的研究动态.招生情况等.总之,我认为,知识只有分享才能产生更大的价值,真诚希望下面的链接能对朋友们有所帮助.(1)googleResearch: http://research.go

JAVA传值的问题,请牛人帮忙解答

问题描述 通过实体类GET出两个值传到A方法中,假设传的值为1,abc. 在方法体使用这两个变量的时候结果发现输出的值都为1. 不知道什么原因.. 分都在这里了. 问题补充: 还是谢谢你们 问题已经解决了.. 调用借口的时候,不知道谁把我传的值给覆盖了. 郁闷了半天 都是牛人,我的分也就这么点.. 我就随便给了哈 解决方案 贴出简单代码解决方案二:贴代码吧,问题解决不了那描述多半也是片面的.解决方案三:有代码,有真相,速递代码.解决方案四:代码啊,代码,贴出来,光描述怎么能了解呢.解决方案五:设

包钢稀土全年净利将翻12倍3牛人账面浮盈超6亿

营业收入同比增134%,净利润同比增369%! 这是即将站上百元大关的超级大牛股包钢稀土 (600111,收盘价93.91元)昨日晚间亮出的三季报成绩单,而更让市场咋舌的是,公司放出超级豪迈的全年业绩预增公告--2010年净利润将 同比增长超过1200%! 公司这两则公告同其股价走势一样牛气冲天.而包钢稀土披露的三季报也显示,今年以来鲜有露面的"最牛散户"们也在第三季度悍然杀入该股,目前账面收益相当可观. 全年净利将翻12倍 三季报显示,包钢稀土今年1~9月实现营业收入36.7亿元,较

Ueditor的使用(JSP),希望牛人能够解解惑

问题描述 Ueditor的使用,我自己百度了很久,也没有一个可以解决的方法,希望牛人赐教.问题一:我在Ueditor配置了上传图片,在文本编辑框里面,显示没有问题,可是,我把内容转化为HTML语言代码的时候,Img的SRC属性是如图:可是我在项目工程里面,找不到该图片的路径,疑问?为什么?问题二,怎么能够在JavaWeb后台获取到Ueditor的内容呢?希望大神给予解答,在下一名在校学生,喜欢JavaWeb开发谢谢! 解决方案 解决方案二:自己顶一个,希望牛人解惑,感激不尽.解决方案三:你刷新下

不是技术牛人,如何拿到国内IT巨头的Offer(转)

      不久前,byvoid面阿里星计划的面试结果截图泄漏,引起无数IT屌丝的羡慕敬仰.看看这些牛人,NOI金牌,开源社区名人,三年级开始写Basic-在跪拜之余我们不禁要想,和这些牛人比,作为绝大部分技术屌丝的同学们,是否真的与国内IT巨头遥不可及呢?       当你打开这个帖子的时候,我已经默认你是此文的目标读者,也就是想进入国内一流互联网企业的非牛人应届生.       你不需要拿NOI的奖,无需是开源社区名人,也用不着发过牛逼的SCI论文.(没错,笔者就是这样的技术屌丝)     

不是技术牛人,如何拿到国内IT巨头的Offer(1)

转自:http://developer.51cto.com/art/201404/436685.htm 不久前,byvoid面阿里星计划的面试结果截图泄漏,引起无数IT屌丝的羡慕敬仰.看看这些牛人,NOI金牌,开源社区名人,三年级开始写Basic...在跪拜之余我们不禁要想,和这些牛人比,作为绝大部分技术屌丝的同学们,是否真的与国内IT巨头遥不可及呢?   当你打开这个帖子的时候,我已经默认你是此文的目标读者,也就是想进入国内一流互联网企业的非牛人应届生. 你不需要拿NOI的奖,无需是开源社区名