taoCMS是基于php+sqlite/mysql的国内最小(100Kb左右)的功能完善、开源免费的CMS管理系统

MongoDB不使用skip做分页

2012-06-02

mysql  可以借鉴的思想

MongoDB不使用skip做分页

使用Skip和limit可以如下做数据分页:

Code: page1 = db.things.find().limit(20)
page2 = db.things.find().skip(20).limit(20)
page3 = db.things.find().skip(40).limit(20)

当数据量很小时,这样做分页完全没有问题。但是当数据量很大时,skip操作会变的很慢,应该避免使用。(不止是mongoDb会这样,大部分数据库都是。)可以通过改变查询文档的规则来达到分页效果,避免使用skip来跳过大量的数据。(通过计算,得到下次查询应该从什么地方开始)

以下演示如何通过改变查询规则来避免使用skip。如果有以下数据:

Code: {'date':'2011-07-05 09:53:00'}
{'date':'2011-07-05 09:53:01'}
{'date':'2011-07-05 09:53:02'}
...
{'date':'2011-07-05 09:54:00'}

则数据库的第一页可以这样获得:

Code: page1 = db.xx.find().sort('date',1).limit(10)

然后通过遍历,展示,并且获得最后一个数据:

Code: var latest = null;

while (page1.hasNext()) {
   latest = page1.next();
   display(latest);
}

现在,通过获得的最后一个日期的数据,可以做下一个查询:

Code: var page2 = db.xx.find({"date" : {"$gt" : latest.date}});
page2.sort({"date" : 1}).limit(10);

以次类推,可以一直获得到最后一个的分页。

当然,这里展示的只是一个理想的情况,事实上,可能分页的时候,有很多值的数值都是一样的,例如:

Code: {'date':'2011-07-05 09:53:00'}
{'date':'2011-07-05 09:53:01'}
{'date':'2011-07-05 09:53:01'}
{'date':'2011-07-05 09:53:01'}
{'date':'2011-07-05 09:53:01'}
{'date':'2011-07-05 09:53:01'}

{'date':'2011-07-05 09:53:02'}
{'date':'2011-07-05 09:53:03'}
{'date':'2011-07-05 09:53:04'}
...
{'date':'2011-07-05 09:54:00'}

在这个例子中,如果第一个分页落在{'date':'2011-07-05 09:53:01'}附近的话,就会有5条重复的(极端情况下,可能有非常多,例如好几百条一样的键值),这样在调用{"$gt" : latest.date}时,可能会把上一页的尾数据也给包含进来了。在这种情况下,就需要使用一些别的field来辅助分页,或者转回采用skip,或者如果你的分页不是特别的严格,可以忽略这种情况。(例如mop,天涯首页那种,每页有好几百页帖子,每一秒每一页都不一样。)

 

用where+limt是最快的
mongo是用skip翻页,这个非常慢


类别:技术文章 | 阅读:222060 | 评论:0 | 标签:mongodb 分页

想收藏或者和大家分享这篇好文章→

“MongoDB不使用skip做分页”共有0条留言

发表评论

姓名:

邮箱:

网址:

验证码:

公告

taoCMS发布taoCMS 3.0.2(最后更新21年03月15日),请大家速速升级,欢迎大家试用和提出您宝贵的意见建议。

捐助与联系

☟请使用新浪微博联系我☟

☟在github上follow我☟

标签云