sql 随机抽取数据效率优化

sql 随机抽取数据效率优化

如何快速的从数据表里随机抽取一条数据。

我生成了一个简单的数据表,并且导入了500W条数据进行测试。

下图为第一次采用的SQL语句:

 

Declare @d Datetime
Set @d=getdate()
SELECT top 1[ActivityID]
      ,[CardNo]
      ,[Password]
      ,[State]
      ,[CreateTime]
      ,[GetTime]
FROM [TGBus_Card].[dbo].[Ka_Card] Where ActivityID = 501 And State = 0 Order By NEWID()
Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())

 

这是我优先会想到的解决方案,NEWID()每次都要检索整个数据表,为每一行数据产生一个uniqueidentifier类型的唯一值,所以它的执行效率肯定不高 ,每次执行都要在4秒左右。

还有没有更好的办法那?!

山人我在想,因为SELECT是在ORDER BY之前执行的,所以能不能在SELECT的时候产生NEWID()后在ORDER BY使用那?

于是有了第二个版本:

Declare @d Datetime
Set @d=getdate()
SELECT top 1[ActivityID]
      ,[CardNo]
      ,[Password]
      ,[State]
      ,[CreateTime]
      ,NEWID() as Random
FROM [TGBus_Card].[dbo].[Ka_Card] Where ActivityID = 501 And State = 0 Order By Random
Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())

 

确实有所提高!!但太不明显了。。。。。

还有没有更好的办法?!

于是我又想到了2005的新特性TABLESAMPLE,马上试试!

这是第三版的代码:

Declare @d Datetime
Set @d=getdate()
SELECT top 1[ActivityID]
      ,[CardNo]
      ,[Password]
      ,[State]
      ,[CreateTime]
      ,[GetTime]
FROM [TGBus_Card].[dbo].[Ka_Card] tablesample (1000 Rows) Where ActivityID = 501 And State = 0
Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())

 

速度太快了!!!10几毫秒就显示了!

到这里山人我本以为事情搞定了!心里还美滋滋的!于是小研究了一下TABLESAMPLE,不看不知道,原来TABLESAMPLE随机选取的单位是数据页!!我靠!!也就是说如果数据量很小的话很可能有取不到数据的可能,试一下果然如此!这个不靠谱的家伙!

问题又回到了起点。。。难道真的就要用NEWID了吗?正当山人我感慨的时候在MSDN上无意中看到了这段文字:

 

感觉有戏!!

于是又写了这第四版代码:

Declare @d Datetime
Set @d=getdate()
SELECT Top 1* FROM [TGBus_Card].[dbo].[Ka_Card]
WHERE 0.01 >= CAST(CHECKSUM(NEWID(), CardNo) & 0x7fffffff AS float) / CAST (0x7fffffff AS int)
And ActivityID = 501 And State = 0
Select [语句执行花费时间(毫秒)] = Datediff(ms,@d,Getdate())

这也是我最终采用的方法,SQL执行速度在1毫秒左右。

时间: 2024-09-12 11:56:58

sql 随机抽取数据效率优化的相关文章

sql 随机取得数据

以前没注意到随机抽取数据,下面我来说说我的经验. mssql : select * from tablename order by newid() desc 在mssql取得随便数据的函数是newid mysql中: select * from tablename order by rand() desc 在mysql用来取得随便数据的函数是rand了. 就这么简单, 申明:转载请注来处.

bucket-hive随机抽取数据,保证数据随机性

问题描述 hive随机抽取数据,保证数据随机性 在hive中随机抽取1000条数据,保证数据的随机性,确保两次抽取数据的不一致. 解决方案 本人已经解决,仅供参考 select * from mydata order by rand() limit 1000; order by 排序 order by rand() 随机排序 limit 1000 取出前一千条数据 order by rand() limit 1000 取出随机排序后的前一千条数据 解决方案二: http://blog.sina.

sql 随机抽取几条数据的方法 推荐_MsSql

传说用这个语句管用:select top 5 * from tablename order by newid() 我放到sql的查询分析器里去执行果然管用,随机抽取5条信息,不停的换,结果我应用到程序里的时候就不管用了,总是那几条,于是对这个东西进行了一个研究得出另一种方法: newid() 可以产生如:"49869293-8891-4B31-B88E-A584D9621490" 这样的数据结果,而且每一行产生的都不同,这样的话,我们就可以在查询的时候给结果集里加上这么一个列,比如:

SQL Server 2014 数据内存优化表详解

不同于disk-based table,内存优化表驻留在内存中,使用 Hekaton 内存数据库引擎实现.在查询时,从内存中读取数据行:在更新时,将数据的更新直接写入到内存中.内存优化表能够在disk上维护一个副本,用于持久化数据集. Memory-optimized tables reside in memory. Rows in the table are read from and written to memory. The entire table resides in memory.

access数据库 随机抽取数据 且不重复

问题描述 .netwinform做一个抽奖系统,数据库是access,每次查询5条随机数据,而且不能重复!谢谢! 解决方案 解决方案二:你直接按guid排序随机取一批出来,然后在内存里再随机取就行了

sql随机查询数据语句(NewID(),Rnd,Rand(),random())

SQL Server:  代码如下 复制代码 Select TOP N * From TABLE Order By NewID()   NewID()函数将创建一个 uniqueidentifier 类型的唯一值.上面的语句实现效果是从Table中随机读取N条记录. Access:  代码如下 复制代码 Select TOP N * From TABLE Order By Rnd(ID)     Rnd(ID) 其中的ID是自动编号字段,可以利用其他任何数值来完成,比如用姓名字段(UserNam

随机抽取的sql语句 每班任意抽取3名学生_MsSql

学校有一.二.三....至十班. 假设每个班上有30名学生.张.李.刘.苏等 现有这样的表 student ,字段 class 及name .其中class 表示班级,name 表示每班学生姓名. 要求每班任意抽取3名学生出来,进行学校大扫除. 请写出这样的SQL语句. select name from (select (row_number() over (partition by class order by checksum(newid()))) id,* from student ) a

mySQL随机取数据的执行效率

昨晚我在编写"路过的"的应用随机取笑话的时候发现一个问题,我的目标是从笑话表(大约几万条数据量)中随机抽取一条笑话并显示,起初我的SQL如下: Sql代码 select * from xiaohua limit 随机数,1 其中随机数是由java程序产生,当随机数比较小时,发现执行速度非常快,但当随机数如超过1w时,执行速度超慢,看来这条路是行不通了,于是我又利用mysql的rand()函数,看看执行效率,发现效率也不好,最后我通过google了一下,发现碰到这个问题的人还是很多的,最

ASP抽取数据的执行效率_应用技巧

通常从数据库中抽取数据记录,需要使用到SQL语句,查询获得相关记录集,然后从记录集中选择相关字段.相关记录行进行显示. 那么在抽取到显示的一系列列过程中,如果注意如下几个要点,则令抽取数据的执行效率大大增加. 1,明确抽取的字段名称 正常的SQL语句抽取记录是:Select * from [data_table] 即从数据表data_table中抽取所有字段的记录值. select * 语句的执行效率是很低的,因为在执行这样的语句的时候其实执行了两次查询,在执行select语句前,首先必须查询系