读大数据量的XML文件的读取问题_XML示例

而如果使用XMLReader的话,不需要缓存,读取速度很快,但是如果要查询就不那么方便了,不支持XPath,只能通过Reader()方法前向循环。为了避免以上两种方法的缺点,想出以下方案:

1、先使用XMLReader将XML文件的内容读取到一个链表中。

2、查询的时候查询链表就可以了(可以在定义链表的类中定义查询函数,要查询的时候直接调用函数就可以了,非常方便)。

结果证明:速度和查询效果都很好。

时间: 2024-10-24 22:43:54

读大数据量的XML文件的读取问题_XML示例的相关文章

asp读取xml文件和记数_XML示例

复制代码 代码如下: if isnumeric(id)=false then exit sub strSourceFile = Server.MapPath(dataxml&"/Advertisement/"&id&"/adv.xml") Set objXML =Server.CreateObject("Microsoft.XMLDOM")  '创建一个XML对像  objXML.load(strSourceFile)  

LDataTable控件--向客户端传送大数据量的DataTable

在之前发布的Varibale控件已经可以向客户端传送DataTable数据,但是,如果该DataTable有几千行( 甚至更多)时,使用Variable会直接将所有数据传到客户端,这显然是不现实的.本文所要介绍的 LDataTable控件是一个适合用于向客户端传送含有大数据量的DataTable的控件,其实现的原理如下: 根据客户端的需求以页为单位从服务器读取要传送的DataTable中的行,读取到客户端之后,就将读取到 的这部分数据缓存到客户端. 例如: 有一个具有5000行数据的DataTa

大数据量下高并发同步的讲解(不看,保证你后悔)(转)

  对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发访问问题了.而并发问题是绝大部分的程序员头疼的问题, 但话又说回来了,既然逃避不掉,那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧. 为了更好的理解并发和同步,我们需要先明白两个重要的概念:同步和异步 1.同步和异步的区别和联系 所谓同步,可以理解为在执行完一个函数或方法之后,一直等待系统返回值或消息,这时程序是出于阻塞的,只有接收到 返回的值或消息后才往下执行其它的命令. 异步,执行完函数或方法后

大数据量中的模糊查询优化方案

----------------------------------------------------------------------------------------------[版权申明:本文系作者原创,转载请注明出处] 文章出处:http://blog.csdn.net/sdksdk0/article/details/52589761作者:朱培      ID:sdksdk0      ------------------------------------------------

io流-listFiles 大数据量时内存溢出

问题描述 listFiles 大数据量时内存溢出 描述: 获取一个文件集合,通过文件获取文件名集合,再根据文件内容筛选文件,存储在Map里 问题: 文件服务器A文件夹下,存在近7万个文件,以XML格式存储,调用listFiles,再做put操作时, 内存就会溢出,调整过eclipse的堆与非堆内存,加大了1024M,也同样抛出内存溢出异常, 恳请大家指点迷津,给个好的解决方案,或者案例参考,谢谢了 这个方法需要将内容存储在Map对象内然后返回这个Map对象,给其他成员调用,这个内存溢出,因该是在

c# mssql xml-C#中,读取数据库数据,写入xml文件

问题描述 C#中,读取数据库数据,写入xml文件 C#中,读取数据库数据,比如说表,存储过程,函数等等,然后把这些数据写成xml文件 存入本地硬盘,请各位大神教教我,,, 解决方案 你是 只需要读数据库的资料然后自己根据资料写xml 还是写个程序让机器自己根据从数据库中读出的资料然后生成相应的XML? 解决方案二: 参考一下这个http://bbs.csdn.net/topics/360167449 解决方案三: 读取数据库中的数据应该没有问题吧.写入xml参考:http://blog.csdn

求教现在处理大数据量的web开发,框架选择

问题描述 最近在做一个项目,使用的是flex+ejb+blazeds,通过weblogic发布但是客户端要求返回大量的数据,刷新时间还比较短,由于界面UI采用的是adobe flash builder开发,总感觉好像比较卡weblogic服务器用的时候,数据库查询页优化了很多,服务器自己也优化了下,但总是感觉采用的方式不对或者说设置的不够好,求教,对于数据量很大的实时反馈类web开发,还有什么其他好的框架或者说,原有基础上有什么要改进的 问题补充:有没有必要做集群呢? 解决方案 但是客户端要求返

针对Sqlserver大数据量插入速度慢或丢失数据的解决方法

我的设备上每秒将2000条数据插入数据库,2个设备总共4000条,当在程序里面直接用insert语句插入时,两个设备同时插入大概总共能插入约2800条左右,数据丢失约1200条左右,测试了很多方法,整理出了两种效果比较明显的解决办法: 方法一:使用Sql Server函数: 1.将数据组合成字串,使用函数将数据插入内存表,后将内存表数据复制到要插入的表. 2.组合成的字符换格式:'111|222|333|456,7894,7458|0|1|2014-01-01 12:15:16;1111|222

导出大数据量excel,用POI

问题描述 导出大数据量excel,用POI 需要导出的数据量可能非常大(超过10W条),而且要照顾到没装07Excel的机器,不能用SXSSFworkbook.鉴于一个sheet页最多65000多条记录,那么大数据就需要多个sheet页.由于导出前要先查数据库,是应该一次查出所有数据然后导出还是分次查询?每次查询65000条数据? 解决方案 这么大的文件,excel 2003未必能打开.建议分页存入多个excel文件. 解决方案二: 看速度和效率了,分次是不是速度还快点