MongoDB 数据分页和排序 limit,skip,sort用户

排序用sort,相当于order by,升序用1表示,降序用-1
比如,按age字段升序排列:

 代码如下 复制代码

db.user.find().sort({"age":1})

如果有多个字段,按姓名降序,年龄升序

 代码如下 复制代码

db.user.find().sort({"name":-1,"age":1})

limit和skip一起用,相当于mysql里的limit:

 代码如下 复制代码

b.user.find().skip(1).limit(1)

相当于mysql里的limit(1,1),即跳过第0条,从第1条开始返回,只返回1条
skip和limit就能实现分页,但是skip太多的话,会影响性能,应该尽量避免,比如说,获取当前页最后一个文档的某个值作为条件(如日期)来查询,就可以不用skip.

无论是采用什么数据库,通常都有一些常规的做分页和排名的方法。本文就通过一些测试数据来向大家介绍MongoDB在这方面的性能。

分页首先我们来做一个分页,在MongoDB中示例数据如下所未:

 代码如下 复制代码
db.scores.find();
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 1, name: 'user_1'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 2, name: 'user_2'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 3, name: 'user_3'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 4, name: 'user_4'}

其中lid字段用于区分不同的纬度,主要用在筛选上,在测试collection中,一共有五个不同的lid值,每一个对应1,200,000条数据,一共6,000,000条数据。索引在lid 和 score上。(下面的查询能使用到索引)

然后我们进行下面的性能测试:

 代码如下 复制代码
collection = Mongo::Connection.new.db('test').collection('scores')
Benchmark.bmbm do |x|
  x.report("mongo small") do
    100.times do |i|
      collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => -1}).limit(20).skip(i * 20).to_a
    end
  end
  x.report("mongo medium") do
    100.times do |i|
      collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => -1}).limit(20).skip(i * 1000).to_a
    end
  end
  x.report("mongo large") do
    100.times do |i|
      collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => -1}).limit(20).skip(i * 10000).to_a
    end
  end
end

上面分别对skip条数比较小,中等大小和非常大三种情况进行了测试。而limit指定获取的数据都一样是20条。这三种情况下的测试结果分别是:0.6 秒, 17 秒,173 秒。

我们可以看到,对MongoDB来说,skip的大小严重影响性能,应该严格避免特别大的skip操作。

排名排名功能与分页功能类似,不同的是排名是通过计算大于某个值的条数来做的。

比如:

 代码如下 复制代码
//sql
select count(*) from scores where lid = $1 and score > $2
//mongo
db.scores.find({lid: lid, score: {$gt: score}}).count()

由于排名和分页实现原理上类似,所以结果实际上差不多。测试结果如下:

mongo top rank   1.155847
mongo average    22.291007

结论上面做了对比,那么本文要说一个什么问题呢?

首先,在MongoDB中,尽量避免进行比较大的skip操作,比如在分页中,如果你能知道需要获取数据的上一条score是多少,那么可能能够用下面的方法来获取你要的数据,而不是通过一次很大的skip操作。

  db.scores.find({lid: lid, score: {$lt: last_score}}).sort({score: -1}).limit(20)另外,如果你需要进行比较大的skip操作或者count比较大的数量,那么可以考虑采用Redis的Sorted Sets来做

时间: 2024-09-13 09:03:12

MongoDB 数据分页和排序 limit,skip,sort用户的相关文章

Yii框架实现数据分页及排序的例子

在控制器:  代码如下 复制代码 class PostController extends Controller {     function actionIndex()     {         $criteria = new CDbCriteria();         $count=Post::model()->count($criteria);         $pages=new CPagination($count);           // elements per page

JS实现table表格数据排序功能(可支持动态数据+分页效果)_javascript技巧

asp.net会经常遇到分页的效果,尤其是希望实现静态的html分页排序(html分页相信大家都已经有自己的解决方案.在这里就不多说).我写了一个简单的Demo排序. 数据就是字母和数字两组.(汉字需要找到asc码) 原理就是利用数组自带的sort排序,进行表格重组.已在.net mvc 中测试过.支持分页.(申明一点.只对当前页面数据排序 无刷新,对所有页面排序的话,肯定需要刷新.这点我还在解决中.)希望有新想法的高手们,给下指点. 下面把html的代码贴出来: <!DOCTYPE HTML

在ASP.NET 2.0中操作数据之二十四:分页和排序报表数据_自学过程

导言 分页和排序是在WEB应用程序中展现数据常见的功能.比如,当我们在一个网上书店搜索ASP.NET书籍的时候,可能有几百本相关书籍,但是我们只希望每页显示10条有效记录.而且,我们还希望结果能根据标题.价格.页数和作者等等来进行排序.过去的23个教程中我们研究了如何建立各种报表,包括在界面上添加编辑和删除数据.但是我们没有研究如何对数据进行排序,对于分页我们也仅在研究DetailsView和FormView控件的时候看到. Step 1:添加分页和排序页面 在我们开始以前,首先让我们花些时间来

LINQ分页和排序,skip和Take 用法

LINQ分页和排序,skip和Take 用法 dbconn.BidRecord.OrderBy(p=>p.bid_id).ToList<BidRecord>().OrderBy(p => p.bid_id).Skip(skip).Take(take).ToList<BidRecord>(); 上面就是分页带排序的方法. 说一下问什么这样做 dbconn 是Modle的对象 BidRecord 是一个实体 P=〉p.bid_id 是排序的条件 OrderBy 是排序(后面

利用JQuery方便实现基于Ajax的数据查询、排序和分页功能

ajax|分页|排序|数据        之前很少会用javascript去实现页功能主要怕麻烦,但了解JQuery后这种想法发生了变化:有了这样的脚本组件就可以在编写脚本时方便和HTML隔离出来,这样编写高重用性的脚本就更方便.下面就是介绍在学习JQuery过程中编写的基于Ajax的数据查询.排序和分页功能的复用脚本,只要遵循脚本的某些规则描述HTML把脚本文件引入就可以方便实现以上描述的功能.        先看下实现功能的脚代码: /**应用脚本规则:           引用脚本: JQ

ASP.NET 2.0数据教程之二十四: 分页和排序报表数据

返回"ASP.NET 2.0数据教程目录" 导言 分页和排序是在WEB应用程序中展现数据常见的功能.比如,当我 们在一个网上书店搜索ASP.NET书籍的时候,可能有几百本相关书籍,但是我们只 希望每页显示10条有效记录.而且,我们还希望结果能根据标题.价格.页数和 作者等等来进行排序.过去的23个教程中我们研究了如何建立各种报表,包括在 界面上添加编辑和删除数据.但是我们没有研究如何对数据进行排序,对于分页 我们也仅在研究DetailsView和FormView控件的时候看到. Ste

Oracle分页查询排序数据重复问题

  在项目开发过程中大量的使用了分页查询,当想要让数据按照日期排序时,出现了很多重复的数据出现. 造成这一问题出现的原因是:在数据中,日期的值不是唯一的.我们知道 Oracle的分页查询是没有进行任何排序操作的,Oracle是顺序的从数据块中读取符合条件的数据返回到客户端.而Oracle的排序算法不具有稳定性,也就是说,对于键值相等的 数据,这种算法完成排序后,不保证这些键值相等的数据保持排序前的顺序. 解决这一问题的方法就是在后边增加一个唯一性列,比如主键,问题解决. select * fro

JQuery+Ajax实现数据查询、排序和分页功能_jquery

之前很少会用javascript去实现页功能主要怕麻烦,但了解JQuery后这种想法发生了变化:有了这样的脚本组件就可以在编写脚本时方便和HTML隔离出来,这样编写高重用性的脚本就更方便.下面就是介绍在学习JQuery过程中编写的基于Ajax的数据查询.排序和分页功能的复用脚本,只要遵循脚本的某些规则描述HTML把脚本文件引入就可以方便实现以上描述的功能. 先看下实现功能的代码: /**应用脚本规则: 引用脚本: JQuery脚本和JQuery的form插件脚本 Form的ID: viewfor

MongoDB数据查询

1.find函数的介绍和使用 MongoDB数据查询使用find函数,其功能与SQL中的select函数相同,可提供与关系型数据库类似的许多功能,包括映射.排序等. db.集合名.find(query,fields,limit,skip) query指查询条件,相当于SQL中的where语句. 例如: db.student.find({name:"joe","age":{$lt:22}}) fields用于字段映射(projection)语法格式:{field:0}