MySQL 查询中的分页思路的优化教程

   复杂条件搜索时,where somthing order by somefield+somefieldmysql会搜遍数据库,找出“所有”符合条件的记录,然后取出m,n条记录。如果你的数据量有几十万条,用户又搜索一些很通俗的词,然后要依次读最后几页重温旧梦。mysql该很悲壮的不停操作硬盘。

  所以,可以试着让mysql也存储分页,当然要程序配合。

  ASP的分页:在ASP系统中有Recordset对象来实现分页,但是大量数据放在内存中,而且不知道什么时候才失效(请ASP高手指点). SQL数据库分页:用存储过程+游标方式分页,具体实现原理不是很清楚,设想如果用一次查询就得到需要的结果,或者是id集,需要后续页时只要按照结果中的IDs读出相关记录。这样只要很小的空间保留本次查询的所有IDs. (SQL中的查询结果不知道怎样清楚过期垃圾?)

  这样,可以让mysql模拟存储分页机制:1. select id from $table where $condition order by $field limit $max_pages*$count;查询符合条件的IDs.限定最大符合条件的记录数量,也可以不加。2. 因为php在执行结束后所有变量都要lost,所以可以考虑:方案a. 在mysql建立临时表,查询结果用一个时间或随机数作为唯一标志插入。其中建立page1~pagen个字段,每个字段保存该页中需要的ids, 这样一个id对一条记录.方案b. 如果打开session,也可以放在session中保存,实际上是放在文件中保存。建立一个$IDs数组,$IDs[1]~$IDs[$max_pages]. 考虑到有时候用户会开几个窗口同时查询,要为$ids做一个唯一标志,避免查询结果相互覆盖。二维数组和$$var都是好办法。3. 在每页页的请求中,直接找到对应的IDs,中间以","间隔:select * from $table where id in ($ids); 速度绝对快4. 收尾要考虑查询结果的自动清除,可以设置定时或者按比例随机清楚。如果用mysql临时表要加上一个时间标志字段,session中要加入$IDs["time"]=time(); 在一定时间以后不操作视为过期数据。

  如果要优化,可以考虑用把1和2.a中的语句合并成select ...... into ....

  Note:1.以上只是针对mysql的修补方案,希望mysql哪天能把这些功能加进去2.其它数据库也可以套用。3.如果其它数据库还有更先进的分页方式,请告诉我或mailto: .如果真的有很多数据要查询,还是和mysql再见吧,sql,oracle都提供了更先进的关键词索引查询。

时间: 2024-09-17 04:50:30

MySQL 查询中的分页思路的优化教程的相关文章

MySQL 查询中的分页思路的优化

mysql|分页|优化 作者:steeven 似乎讨论分页的人很少,难道大家都沉迷于limit m,n?在有索引的情况下,limit m,n速度足够,可是在复杂条件搜索时,where somthing order by somefield+somefieldmysql会搜遍数据库,找出"所有"符合条件的记录,然后取出m,n条记录.如果你的数据量有几十万条,用户又搜索一些很通俗的词,然后要依次读最后几页重温旧梦...mysql该很悲壮的不停操作硬盘. 所以,可以试着让mysql也存储分页

MySQL查询中的分页思路的优化

似乎讨论分页的人很少,难道大家都沉迷于limit m,n? 在有索引的情况下,limit m,n速度足够, 可是在复杂条件搜索时, where somthing order by somefield+somefield mysql会搜遍数据库,找 出"所有"符合条件的记录,然后取出m,n条记录. 如果你的数据量有几十万条,用户又搜索一些很通 俗的词, 然后要依次读最后几页重温旧梦...mysql该很悲壮的不停操作硬盘. 所以,可以试着 让mysql也存储分页,当然要程序配合. (这里只

给大家一个点子:利用MySQL的一个特性实现MySQL查询结果的分页显示

mysql|分页|显示 在mysql中利用select语句的一个特性就可以很方便地实现查询结果的分页,select语句的语法:    SELECT [STRAIGHT_JOIN] [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [HIGH_PRIORITY]           [DISTINCT | DISTINCTROW | ALL]        select_expression,...        [INTO OUTFILE 'file_name' expor

利用MySQL的一个特性实现MySQL查询结果的分页显示

在mysql中利用select语句的一个特性就可以很方便地实现查询结果的分页,select语句的语法: SELECT [STRAIGHT_JOIN] [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [HIGH_PRIORITY] [DISTINCT | DISTINCTROW | ALL] select_expression,... [INTO OUTFILE 'file_name' export_options] [FROM table_references [WHER

mysql 查询重复的数据的SQL优化方案

 在mysql中查询不区分大小写重复的数据,往往会用到子查询,并在子查询中使用upper函数来将条件转化为大写.如:   代码如下: select * from staticcatalogue WHERE UPPER(Source) IN (SELECT UPPER(Source) FROM staticcatalogue GROUP BY UPPER(Source) having count(UPPER(Source))>1) ORDER BY upper(Source) DESC;   这条

mysql 查询重复的数据的SQL优化方案_Mysql

在mysql中查询不区分大小写重复的数据,往往会用到子查询,并在子查询中使用upper函数来将条件转化为大写.如: 复制代码 代码如下: select * from staticcatalogue WHERE UPPER(Source) IN (SELECT UPPER(Source) FROM staticcatalogue GROUP BY UPPER(Source) having count(UPPER(Source))>1) ORDER BY upper(Source) DESC; 这条

将MySQL查询结果按值排序的简要教程_Mysql

MySQL查询结果如何排序呢?这是很多人都提过的问题,下面就教您如何对MySQL查询结果按某值排序,如果您感兴趣的话,不妨一看. 之前有一个功能修改,要求MySQL查询结果中: id name * * * 1 lucy ... 3 lucy ... 2 lily ... 4 lucy ... 名字为lucy的优先排在前面,百思不得其解,可能有人会说简单 union嘛 或者弄个临时表什么的,其实我也想过,但是本身SQL逻辑就很多了(上面只是简例),再union的话或者临时表可能绕很大的弯路,后来看

测试mysql查询中参数整形和字符串类型错误索引使用情况

准备数据: CREATE TABLE `test_idx` (   `i` int(10) NOT NULL,   `s` varchar(10) NOT NULL,   KEY `i` (`i`),   KEY `s` (`s`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;   insert into test_idx(i, s) values (1,'1'),(2,'2'),(3,'3'),(4,'4'),(5,'5'),(6,'6'),(7,'7'),(8,

MySQL针对Discuz论坛程序的基本优化教程_Mysql

过了这么久,discuz论坛的问题还是困扰着很多网友,其实从各论坛里看到的问题总结出来,很关键的一点都是因为没有将数据表引擎转成InnoDB导致的,discuz在并发稍微高一点的环境下就表现的非常糟糕,产生大量的锁等待,这时候如果把数据表引擎改成InnoDB的话,我相信会好很多.这次就写个扫盲贴吧. 1. 启用innodb引擎,并配置相关参数 #skip-innodb innodb_additional_mem_pool_size = 16M #一般16M也够了,可以适当调整下 innodb_b