SQLSERVER 存储过程分页算法研究(支持千万级)

1.“俄罗斯存储过程”的改良版

CREATE procedure pagination1
(@pagesize int, --页面大小，如每页存储20条记录
@pageindex int --当前页码)
as set nocount on

begin

declare @indextable table(id int identity(1,1),nid int) --定义表变量
declare @PageLowerBound int --定义此页的底码
declare @PageUpperBound int --定义此页的顶码

set @PageLowerBound=(@pageindex-1)*@pagesize
set @PageUpperBound=@PageLowerBound+@pagesize
set rowcount @PageUpperBound
insert into @indextable(nid) select gid from TGongwen where fariqi >dateadd(day,-365,getdate()) order by fariqi desc
select O.gid,O.mid,O.title,O.fadanwei,O.fariqi from TGongwen O,@indextable t where O.gid=t.nid
and t.id>@PageLowerBound and t.id <=@PageUpperBound order by t.id

end

set nocount off

文章中的点评：

以上存储过程运用了SQL SERVER的最新技术――表变量。应该说这个存储过程也是一个非常优秀的分页存储过程。当然，在这个过程中，您也可以把其中的表变量写成临时表：CREATE TABLE #Temp。但很明显，在SQL SERVER中，用临时表是没有用表变量快的。所以笔者刚开始使用这个存储过程时，感觉非常的不错，速度也比原来的ADO的好。但后来，我又发现了比此方法更好的方法。

从感觉上讲，效率不是太高。


2. not in 的方法：
从publish 表中取出第 n 条到第 m 条的记录：

SELECT TOP m-n+1 * FROM publish WHERE (id NOT IN (SELECT TOP n-1 id FROM publish))

id 为publish 表的关键字

文章中的点评：

我当时看到这篇文章的时候，真的是精神为之一振，觉得思路非常得好。等到后来，我在作办公自动化系统（ASP.NET+ C#＋SQL SERVER）的时候，忽然想起了这篇文章，我想如果把这个语句改造一下，这就可能是一个非常好的分页存储过程于是我就满网上找这篇文章，没想到，文章还没找到，却找到了一篇根据此语句写的一个分页存储过程，这个存储过程也是目前较为流行的一种分页存储过程。

使用了 not in 而 not in 是无法使用索引的，所以从效率上讲还是差了一点。


3. max 的方法：

select top 页大小 * from table1 where id>
(select max (id) from
(select top ((页码-1)*页大小) id from table1 order by id) as T)
order by id

文章中的点评：

我们知道，几乎任何字段，我们都可以通过max(字段)或min(字段)来提取某个字段中的最大或最小值，所以如果这个字段不重复，那么就可以利用这些不重复的字段的max或min作为分水岭，使其成为分页算法中分开每页的参照物。在这里，我们可以用操作符“>”或“ <”号来完成这个使命，使查询语句符合SARG形式。如：
Select top 10 * from table1 where id>200

这个就高高效了一点。但是不清楚 max的工作原理，不知道它的性能如何。

心得：

1、追求高效的翻页算法 —— 定位法。

declare @pageSize int --返回一页的记录数
declare @CurPage int --页号（第几页）0：第一页；-1最后一页。

declare @Count int
declare @id int

set @pageSize=10
set @CurPage =1

--定位
if @CurPage = -1
begin
--最后一页
set rowcount @pageSize
select @id=newsID from newsTemp order by newsID
end

if @CurPage > 0
begin
set @Count = @pageSize * (@CurPage -1) + 1
set rowcount @Count
select @id=newsID from newsTemp order by newsID desc
end

--返回记录
set rowcount @pageSize
select * from newsTemp where newsID <=@id order by newsID desc

set rowcount 0


思路：就是上面的算法的延续，就是说呢避免使用 not in 和 max 的方法。也就是这个思路：Select top 10 * from table1 where id>200，定位 —— 就是说要找到“临界点”，分页的临界点。找到了之后剩下的事情就好办了。

缺点：单字段排序、排序字段的值不能重复（不是绝对不能重复，可以有少量的重复）。


2、通用法 —— 颠颠倒倒法

有的时候“定位法”的缺点是不可以接受的，但是没有关系，可以用这个的。

select * from table where id in
(
select top 10 ID from
(
select top 20 ID,addedDate from table
order by addedDate desc
) as aa order by addedDate
)
order by addedDate desc

ID 是主键，addedDate 是排序字段。

缺点：必须有主键。

-----------------------------------------------------------------------------------------------------------------------------------------------------------

给一下简单在SQL例子对万条数据没问题的，在0.5秒没问题的。希望有所帮助:
如:
select * from Products where ProductID in
( select top 10 ProductID from
(select top 20 ProductID , UnitPrice from
Products
where CategoryID = 3
order by
UnitPrice desc ,
ProductID
) as aa
order by
UnitPrice asc, --如果上面是倒序，那么这里就是正序，下同
ProductID desc
)
order by
UnitPrice desc, --如果上面是倒序，那么这里就是正序，所谓颠颠倒倒嘛。
ProductID

------------------------

用SQL2005 就沒那么麻煩了 只要用下 Row_NUMBER這個函數就行
For Example:
select * from

(select ROW_NUMBER()Over(order by itemid desc) as rowId,*

from items

) as mytable where rowId between 10 and 20

不知道你是否真的在千万级的数据库上测试过这些东西，其实很多局限性的

1、变量表 变量表也不是什么新技术，至少在SQL2000时代就有了，变量表适合小的数据容量，当数据量比较大（数万条）而且并发用户数比较多（100个）时，数据库服务器和死机差不多了

2、定位模式 其实后面的都是这种模式，只不过说法不同而已
这种模式的前提一般是索引必须建立，而且索引最好是单字段索引，如果是多字段索引，反复倒过来倒过去，服务器不爬窝估计客户端早就超时了。