mysql 随机获取记录order by rand 优化

下面我就以users(userId,userName,password……)表(有一百多万条记录)为例,对比讲解下几个方法效率问题:

 代码如下 复制代码

1.select * from users order by rand() LIMIT 1

执 行该sql语句,老半天没有反应,最后被迫手动停止执行,怎个伤人了得啊!后来我查了一下MYSQL手册,里面针对RAND()的提示大概意思就是,在 ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被多次扫描,导致效率相当相当的低!效率不行,切忌使用!

 代码如下 复制代码

2.SELECT * FROM users  AS t1  JOIN (SELECT ROUND(RAND() * ((SELECT MAX(userId) FROM `users`)-(SELECT MIN(userId) FROM users))+(SELECT MIN(userId) FROM users)) AS userId) AS t2 WHERE t1.userId >= t2.userId ORDER BY t1.userId LIMIT 1

执行该sql语句,用时0.031s,效率没说的,相当的给力!心里那个爽啊,紧接着,我把”LIMIT 1“改为了”LIMIT 100“ 随机取一百条记录,用时0.048,给力吧。可是就在此时问题出现了,发现结果好像不是随机的?为了验证结果,又执行了N次,真不是随机的, 问题出现在”ORDER BY t1.userId“这里,按userId排序了。随机取一条记录还是不错的选择,多条就不行了啊!

 代码如下 复制代码

3.SELECT * FROM users WHERE userId >= ((SELECT MAX(userId) FROM users)-(SELECT MIN(userId) FROM users)) * RAND() + (SELECT MIN(userId) FROM users)  LIMIT 1

执行该sql语句,用时0.039s,效率太给力了!接着我就把”LIMIT 1“改为了”LIMIT 10000“,用时0.063s。经过多次验证,哥对灯发誓,结果肯定是随机的!
结论:随机取一条或多条记录,方法都不错!

4.通过sql获得最大值和最小值,然后通过php的rand生成一个随机数randnum,再通过

 代码如下 复制代码
SELECT * FROM users WHERE userId >= randnum LIMIT 1

,获得一条记录效率应该还可以,多条应该就不行了。
 

根据记录的类型,分类连续和非连续两种。
连续指记录是连续存放的,并且有字段可以证明记录是连续的,例如自增id。
非连续是指记录是随机存放的,例如有条件的查询,结果肯定不是连续的。

一、连续记录优化
先得到表的最大id和最小id。select max(id),min(id) from table

1.在程序里随机一个在最大id和最小id的中间数,查询的时候大于这个随机数的就是随机记录了。

Sql代码 

 代码如下 复制代码

1.select * from table where id > 中间数 limit length; 
select * from table where id > 中间数 limit length;缺点:如果中间数很大的话,获取不了需要的记录数,随机性不强

 代码如下 复制代码

2.在程序里随机n个最大id和最小id的中间数,查询的时候用in获得这几个中间数的记录
Sql代码 
1.select * from table where id in (中间数1, 中间数2,中间数3) 
select * from table where id in (中间数1, 中间数2,中间数3)需要注意的是,如果你要获取5条记录,那建议随机10个数。
缺点:性能不如第1种方法,但是随机性更强

二、非连续记录优化

其实非连续记录的方法一样可以应用在连续记录中。
首先获得记录的总数,例如:select count(*) from table where groupid = 1;
然后在程序里随机n个小于记录总数的中间数,之后通过循环

Sql代码 

 代码如下 复制代码
1.select * from table where groupid = 1 limit 中间数,1 
select * from table where groupid = 1 limit 中间数,1来获得记录。

关于优化循环sql可以采用prepare或者union all来优化循环执行

结论:方法1效率不行,切忌使用;随机获得一条记录,方法2是相当不错的选择,采用JOIN的语法比直接在WHERE中使用函数效率还是要高一些的,不过方法3也不错;随机获得多条记录

时间: 2024-08-30 18:23:23

mysql 随机获取记录order by rand 优化的相关文章

MySQL随机查询记录的效率测试分析_Mysql

以下就是文章的主要内容. 1.SELECT * FROM `table` ORDER BY RAND() LIMIT 5 就可以了. 但是真正测试一下才发现这样效率非常低.一个15万余条的库,查询5条数据,居然要8秒以上 查看官方手册,也说rand()放在ORDER BY 子句中会被执行多次,自然效率及很低. You cannot use a column with RAND() values in an ORDER BY clause, because ORDER BY would evalu

mongodb中随机获取1条记录的实现方法_MongoDB

实现原理如下     1.先查询表中的记录总数     2.随机获取偏移量为0~总记录数-1     3.查询时skip偏移量,再获取1条记录 因本人测试环境php已升级到7.0以上,mongodb扩展使用支持php7.0以上的扩展,很多方法与php5.6不同.因此代码必须在php7.0以上运行.如果是php5.6环境,需要修改代码才能运行. 代码如下: function.php <?php // 连接mongodb function conn($host, $user, $passwd){ $

MySQL 随机函数获取数据速度和效率分析_Mysql

在mysql中带了随机取数据的函数,在mysql中我们会有rand()函数,很多朋友都会直接使用,如果几百条数据肯定没事,如果几万或百万时你会发现,直接使用是错误的.下面我来介绍随机取数据一些优化方法. SELECT * FROM table_name ORDER BY rand() LIMIT 5; rand在手册里是这么说的: RAND() RAND(N) 返回在范围0到1.0内的随机浮点值.如果一个整数参数N被指定,它被用作种子值. mysql> select RAND(); -> 0.

mysql 随机RAND和GROUP BY优化

最近看到一篇文章关于mysql的优化的,其中两个块内容平时用到的优化方法,记录和分享一下 group by 优化 SELECT goods_id,count(*) FROM t GROUP BY goods_id; 默认情况下,MySQL对所有GROUP BY col1,col2-的字段进行排序.如果查询包括GROUP BY,想要避免排序结果的消耗,则可以指定ORDER BY NULL禁止排序. 修改成 SELECT goods_id,count(*) FROM t GROUP BY goods

MYSQL随机抽取查询 MySQL Order By Rand()效率问题_Mysql

要从tablename表中随机提取一条记录,大家一般的写法就是:SELECT * FROM tablename ORDER BY RAND() LIMIT 1. 但是,后来我查了一下MYSQL的官方手册,里面针对RAND()的提示大概意思就是,在ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被多次扫描.但是在MYSQL 3.23版本中,仍然可以通过ORDER BY RAND()来实现随机. 但是真正测试一下才发现这样效率非常低.一个15万余条的库,查询5条数据,居然要8秒

sql order by rand随机数据优化与性能对比

测试环境 apache2.2/php5.2/mysql5 测试数据 15W+数据,数据表大小600MB 测试语句 最初使用的是 order by rand()了,发现几万条数据居然要10秒之长的时间很是悲剧吧  代码如下 复制代码 SELECT * FROM `表名`  order by rand() 显示行 0 - 29 (154,825 总计, 查询花费 10.1125 秒) 后来网上搜索到如下方法,同样数据感觉有很大的提高了(这里测试的是15W数据)  代码如下 复制代码 SELECT *

MySQL下的RAND()优化案例分析_Mysql

众所周知,在MySQL中,如果直接 ORDER BY RAND() 的话,效率非常差,因为会多次执行.事实上,如果等值查询也是用 RAND() 的话也如此,我们先来看看下面这几个SQL的不同执行计划和执行耗时. 首先,看下建表DDL,这是一个没有显式自增主键的InnoDB表: [yejr@imysql]> show create table t_innodb_random\G *************************** 1. row *************************

MySQL Order By Rand()效率

最近由于需要大概研究了一下MYSQL的随机抽取实现方法.举个例子,要从tablename表中随机提取一条记录,大家一般的写法就是:SELECT * FROM tablename ORDER BY RAND() LIMIT 1. 但是,后来我查了一下MYSQL的官方手册,里面针对RAND()的提示大概意思就是,在ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被多次扫描.但是在MYSQL 3.23版本中,仍然可以通过ORDER BY RAND()来实现随机. 但是真正测试一下

MySQL Order By Rand()效率分析_Mysql

最近由于需要大概研究了一下MYSQL的随机抽取实现方法.举个例子,要从tablename表中随机提取一条记录,大家一般的写法就是:SELECT * FROM tablename ORDER BY RAND() LIMIT 1. 但是,后来我查了一下MYSQL的官方手册,里面针对RAND()的提示大概意思就是,在ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被多次扫描.但是在MYSQL 3.23版本中,仍然可以通过ORDER BY RAND()来实现随机. 但是真正测试一下