翻动100万级的数据(自定义的MSSQL分页查询过程)

翻动 100 万级的数据 —— 只需几十毫秒 之揭秘篇：有详细的说明，不要错过。
感谢大家的支持！！！
昨天发了一个邀请，邀请大家帮忙测试，效果还可以，下面小结一下：
通过内部的计数器得知：访问次数是 1071 （其中有好多是自己点的:)），人数不是太理想，本来是想看看上万人同时访问的情况:)
系统资源的占用情况
内存 —— 很理想。 SQL 占用的内存最大也没有超过 65 M，一般是在 35 M左右；asp.net占用的内存最大也没有超过 40 M，一般是在 25 M左右。
CPU： 8 %左右，由于访问次数不多，也不够集中，所以这个数值也说明不了什么。自己连续点了n次下一页，发现CPU的使用率飘高，达到了 50 %左右。
但是对于 100 万的记录，AMD XP2000+ 的CPU 几十毫秒的放映速度，因该是可以接受的，甚至是很理想的吧。
毕竟服务器的CPU要比我的快很多吧，而且记录也很难达到 100 万吧。
结果还是很满意的，但是美中不足的是，我想看一下海量访问的情况下的效果，
希望大家再支持一下，多点几下，谢谢了。呵呵
另外说明一下：前n页可以在 60 毫秒内完成，n应该是大于 500 的，小于多少嘛还没有测试。后n页就比较慢了，需要 500 毫秒左右。
下面讨论一下翻页的技巧吧。
我没有用游标、临时表、 not in 、 in  这些方法，并不是说他们的效率不高，而是我还没有测试过。我只用了 top ，查了两次表。
大家也可提供一些其他的方法，我来测试一下，看看在 100 万条的情况下的效果。（请不要给在存储过程里面组串的，看着实在是太费劲了）

讨论的前提是在海量数据的情况下，至少是在 10 万以上的。如果是很少的数据呢，那怎么翻都可以了。也差不了多少。
1. 设置合理的索引
首先要做的是设置合理的索引，这个好像经常被忽略，至少很少被谈起。
注意：主键是索引的一种，而且是最快的一种。如果你都是把主键当作排序字段的话，那么你已经利用了索引。
不设置合理的索引的话，会导致查询速度非常的慢，甚至会造成超时。
这方面你可以做一个实验：找一个表，填进去 10 万条记录，假设有ID 、addedDate等字段，在查询分析器里面执行一下
select  top  10  *  from table
应该立刻就能出现结果。
然后再执行  select  top  10  *  from table order by  ID（这时ID字段是主键）
也是立刻就出现了结果。
然后再执行  select  top  10  *  from table order by  addedDate （这时addedDate字段没有索引）
你会发现速度很慢。
现在给addedDate 加一个非聚集索引，然后在执行上面的查询语句，速度也变得很快了。
可见索引神奇的效果！
这是翻动百万级记录最基本的设置，具体到我的那个论坛的翻页，我是设置了BoardID、 replyDate两个字段作为联合索引的。
因为是要在同一个讨论组李翻页，而且是按replyDate排序的。

2. 只返回需要的记录
对于海量数据，都读出来做缓存，那是不可想象的（记录少的话，也要看利用率，一般都是很浪费的）。
所以呢如果一页显示 20 条的话名那就只都读出来 20 条，这样就很省内存和时间。
注意：虽然ADO.NET里面有这个方法
SqlDataAdapter.Fill(DataSet1,startRecord,maxRecords,srcTable);
但是他还是要先从 SQL 里面把查询语句的查出来的所有记录都出来，然后在截取指定的记录数。这对于 SQL 来说是一样的，对于海量数据依然会很慢。
论坛里的首页用的是 select  top  20  *  from table where  boardID =  5  order by  replyDate  desc
这样呢就只返回了 20 条记录，再加上索引的功劳，速度是非常快的。
 
3. 尽量减少字段的长度
一个表可以建很多的字段，但是字段的总长度不能超过 8060 B，也就是说如果你建了一个 char ( 8060 )的字段，就不能在建其他的字段了。
我在第一次的测试中（星期天的），把主题的所有信息都放在了一个表里面，包括了一个nvarchar( 3600 )的主题内容的字段，复制记录的时候发现非常的慢，
当达到 9 万的时候，就已经很慢的，勉强把记录数拷贝到了 35 万，加了索引，测试了一下，翻页速度还是可以的，前n也都是很快的，后n页就很慢了，
如果再加上查询那就非常之慢了。
查看了一下数据文件吓了一跳 —— 他居然占用了 1.4 G的硬盘空间，怪不得拷贝和查询都慢的要死呢。
于是修改了一下表结构，把那个nvarchar( 3600 )的主题内容的字段踢了出去，放在一个单独的表里面。
再重新拷贝记录就非常的快了，很快就把记录数从 16 表成了 1048577 。昨天的测试就是在这个条件下进行的。
4. 技巧
终于到了翻页算法的地方了，呵呵没有等急吧。
思路呢就是先找到一个标志，然后呢把大于（或小于）这个标志的前n条记录取出来。
什么？没看懂。没关系，我举个例子吧。
假设是按ID倒序的，每一页显示 10 条记录，有 100 条记录，记录号正好是 1 到 100 （怎么这么巧？？为了说明方便嘛）
那么第一页的记录就是 100 到 91 、第二页的记录就是 90 到 81 、第三页的记录就是 80 到 71......
我现在要翻到第三页，那么要找到第 21 行的记录的ID的值（也就是 80 ），然后把小于等于 80 的记录用top  10  取出来就行了。
查询语句
declare  @pageSize  int  --返回一页的记录数
declare  @CurPage  int  --页号（第几页）1：第一页；2：第二页；......；-1最后一页。
declare  @Count  int
declare  @id  int
set  @pageSize= 10
set  @CurPage = 1
if  @CurPage = - 1
begin
--最后一页
set  rowcount @pageSize
select  @id=ID  from table order by  ID
end
--定位
if  @CurPage >  0
begin
set  @Count = @pageSize * (@CurPage - 1 ) +  1
set  rowcount @Count
select  @id=ID  from table order by  ID  desc
end
--返回记录
set  rowcount @pageSize
select  *  from table where  ID <=@id  order by  ID  desc
set  rowcount  0

其中“定位”用了  select  @id=ID  from table order by  ID  desc
这种方法，感觉上是很省内存的，因为只记录了一个ID，
然后用  select  *  from table where  ID <=@id  order by  ID  desc
取得最终需要的记录
set  rowcount @pageSize 相当于 top @pageSize 。

优点：无论翻到哪一页，内存的占用情况都不变，多人访问内存也不会不变，很多人呢，还没有测试出来:)
缺点：单表、单排序字段。
 
 
http://community.csdn.net/Expert/TopicView3.asp?id= 4182510
发了这个帖子，回复的人很多，感谢大家的支持。这里有个误会我不得不说明一下，免的误人子弟。
在帖子里我并不是写了个算法就完事了，而是说了很多翻动海量数据要注意的地方，
比如建立合理的索引，只返回需要的记录 ，尽量减少字段的长度 等注意到或没有注意到的地方。
最后说的才是算法，可能是我的表达能力太差了吧，举的例子给大家带来了误会。
翻页的语句 ( @pageSize * (@CurPage - 1 ) +  1  )
--定位
declare  @id  int
select  top  41  @id=ID  from table order by  ID  desc
--显示数据
select  top  20  *  from table where  ID <=@id  order by  ID  desc
按照ID倒序排列（也就是按照 int 类型的字段排序）
一页显示 20 条记录，这是显示第三页的语句
@pageSize * (@CurPage - 1 ) +  1  =  20 *( 3-1 ) +  1  =  41
正是因为ID是不连续的所以才需要用第一个语句来定位，如果是连续的那还用第一条语句做什么呢？
举各少量数据的例子：
假设有 10 条记录，ID是： 1000 ， 500 ， 320 ， 205 ， 115 ， 110 ， 95 ， 68 ， 4 ， 1 。这回不写连续的了免的误会
一页显示两条记录，现在要显示第三页，那么第三页的id就是  115 ， 110
先看第一条语句
select  top  5  @id=ID  from table order by  ID  desc
不知道大家有没有看懂这句，这时print @id 得到的结果是  115 。
再看第二条语句
select  top  2  *  from table where  ID <= 115  order by  ID  desc
这时的记录集就是  115 ， 110 ，也就是我们所需要的记录了。

注意：不需要连续的ID，也不局限只能按ID排序，你可以换成ReplyDate(最后回复时间)字段，
当然了 declare  @id  int  要改成  declare  @id datetime
这里的ID 是主键，唯一标识记录的字段，它本身就是一种索引，而且是效率最高的索引。
A.唯一标识记录的字段的值怎么能随意改动呢，那不乱套了吗？
B.主键是最快的索引，可能你还没有意识到（一开始我就不知道，学了 SQL 很久以后才知道的），如果你的算法用它作为排序字段，那么速度会很快，会比用其他字段（没有索引的字段）排序快很多。
C.用ReplyDate(最后回复时间)来排序，那么就必须给他建立索引（在海量数据的情况下），否则会超时的。

D.建立索引后，再执行添加、修改、删除会对数据库带来灾难性的折磨？？
一开始我也是这么认为的，但是为了能够翻页，不得不加索引。
但是接下来的事实确打消了我的顾虑
先来看添加。
100 万条记录是怎么弄出来的？大家可以看到帖子里有很多标题一样的主题，对了是复制出来的。
我先加了 16 条记录，然后加上了索引。注意在 insert into  之前就已经建立好了索引！
接下来就是 insert into table  (...)  select  ...  from table  影响的行数：
16 、 32 、 64 、 128 、 256 、 512 、 1024 、 2048 、 4096 、 8192 、 16384 、 32768 、 65536 、
131072 、 262144 、 524288  很快记录就达到了 100 完了。
最后一次也只不过一两分钟（具体的时间忘记了，反正是很快了）。
同时，论坛也提供了发贴的功能，只是在批量添加记录的时候，把一些记录的最后回复时间弄成了 2006 年，
所以，你发的帖子不会显示在第一页。但是你可以看到，执行时间是很快的。
可见添加的时候是不成问题的，索引是倒序排列的，所以影响的行数绝对没有你想象的那么多。
再来看修改。
看了sp1234的回复，加了修改的功能，只是为了测试，所以呢可以修改标题、最后发表时间、分组ID。
为什么可以修改这几个字段呢？标题是普通字段，最后发表时间和分组ID是索引字段。
修改这几个字段需要的时间都是很快的，在最后回复时间的右面有 [改] [删] 字样，大家可以试一试。
同样，修改的时候，影响的行数也不是很多。
最后看删除
不多说了，论坛提供了这个功能，试一下就知道了。另外，删除的时候，不用重新建立一遍索引吧？

在来说一下使用范围吧。
首先呢这只是一种方法，而不是一个通用的存储过程，也就是说要根据情况作适当的修改。
最佳使用环境：
单表，单排序字段，可以利用索引。
注意事项：
排序字段不必连续，最好使用 int 、datetime类型的字段，字符串型的字段没有试过，效果可能会略差。
表可以没有主键，但是对于海量数据的情况下，必须建立合理的索引。
有一个比较致命的限制，大家好像都没有发现，那就是排序字段的重复性，
最好是没有重复的，但不是说绝对不能有重复的记录，有不要紧，只要不跨页就行，跨页的话就会挤掉若干条记录，
用时间字段来排序，发生重复的记录的可能性就很小了。

扩展性：
bingbingcha(不思不归,不孟不E,原来是头大灰狼) 的回复很精彩
-----------------
这样的技巧在 SQL 区都讨论过了..速度是很快的..但是满足不了需求的..实用性太差了..现在的企业需要用到分页的大部分都是多表查询..单表分页满足不了需求的..
这个存储过程可以扩展..用临时表+楼主的方法..是个不错的选择..
-----------------
对于多表关联查询，有两种方法，第一种就是bingbingcha说的 —— “用临时表+楼主的方法”，这是在海量数据的时候唯一可行的方法。
但是在小数据量的时候，这么些就有一点繁琐，而且不容易归纳到通用的写法里。
先来看一下查询语句据的写法：
联合的
SELECT  a.ReplyID, a.TopicID
FROM  dbo.BBS_Reply a  INNER JOIN
dbo.BBS_body b  ON  a.BodyID = b.bodyID
where  a.ReplyID > 10
单表的
SELECT  ReplyID, TopicID
FROM  dbo.BBS_Reply
where  ReplyID > 10
有没有看到相同的地方：
select  显示的字段
from  表
where  条件
那么单表查询和多表查询有什么区别呢？
至少有很多的多表（单字段排序）查询都是可用这种方式的。
注意：我并没有说所有的多表（单字段排序）查询都可以用，看具体情况了。
 
这是一个效率最高（需要合理的索引的帮忙），比较通用的翻页方法。不知道这次我有没有讲明白。
==============================================================================
CREATE PROCEDURE  CN5135_SP_Pagination
/*
***************************************************************
** 千万数量级分页存储过程 **
***************************************************************
参数说明:
1.Tables :表名称,视图
2.PrimaryKey :主关键字
3.Sort :排序语句，不带Order By 比如：NewsID Desc,OrderRows Asc
4.CurrentPage :当前页码
5.PageSize :分页尺寸
6.Filter :过滤语句，不带Where
7.Group :Group语句,不带Group By
效果演示：http://www.cn5135.com/_App/Enterprise/QueryResult.aspx
***************************************************************/
(
@Tables  varchar ( 1000 ),
@PrimaryKey  varchar ( 100 ),
@Sort  varchar ( 200 ) =  NULL ,
@CurrentPage  int  =  1 ,
@PageSize  int  =  10 ,
@Fields  varchar ( 1000 ) =  '*' ,
@Filter  varchar ( 1000 ) =  NULL ,
@ Group varchar ( 1000 ) =  NULL
)
AS
/*默认排序*/
IF  @Sort  IS NULL OR  @Sort =  ''
SET  @Sort = @PrimaryKey
DECLARE  @SortTable  varchar ( 100 )
DECLARE  @SortName  varchar ( 100 )
DECLARE  @strSortColumn  varchar ( 200 )
DECLARE  @operator  char ( 2 )
DECLARE  @type  varchar ( 100 )
DECLARE  @prec  int
/*设定排序语句.*/
IF  CHARINDEX( 'DESC' ,@Sort)> 0
BEGIN
SET  @strSortColumn = REPLACE(@Sort,  'DESC' ,  '' )
SET  @operator =  '<='
END
ELSE
BEGIN
IF  CHARINDEX( 'ASC' , @Sort) =  0
SET  @strSortColumn = REPLACE(@Sort,  'ASC' ,  '' )
SET  @operator =  '>='
END
IF  CHARINDEX( '.' , @strSortColumn) >  0
BEGIN
SET  @SortTable = SUBSTRING(@strSortColumn,  0 , CHARINDEX( '.' ,@strSortColumn))
SET  @SortName = SUBSTRING(@strSortColumn, CHARINDEX( '.' ,@strSortColumn) +  1 , LEN(@strSortColumn))
END
ELSE
BEGIN
SET  @SortTable = @Tables
SET  @SortName = @strSortColumn
END
SELECT  @type=t.name, @prec=c.prec
FROM  sysobjects o
JOIN  syscolumns c  on  o.id=c.id
JOIN  systypes t  on  c.xusertype=t.xusertype
WHERE  o.name = @SortTable  AND  c.name = @SortName
IF  CHARINDEX( 'char' , @type) >  0
SET  @type = @type +  '('  +  CAST (@prec  AS varchar ) +  ')'
DECLARE  @strPageSize  varchar ( 50 )
DECLARE  @strStartRow  varchar ( 50 )
DECLARE  @strFilter  varchar ( 1000 )
DECLARE  @strSimpleFilter  varchar ( 1000 )
DECLARE  @strGroup  varchar ( 1000 )
/*默认当前页*/
IF  @CurrentPage <  1
SET  @CurrentPage =  1
/*设置分页参数.*/
SET  @strPageSize =  CAST (@PageSize  AS varchar ( 50 ))
SET  @strStartRow =  CAST (((@CurrentPage -  1 )*@PageSize +  1 )  AS varchar ( 50 ))
/*筛选以及分组语句.*/
IF  @Filter  IS NOT NULL AND  @Filter !=  ''
BEGIN
SET  @strFilter =  ' WHERE '  + @Filter +  ' '
SET  @strSimpleFilter =  ' AND '  + @Filter +  ' '
END
ELSE
BEGIN
SET  @strSimpleFilter =  ''
SET  @strFilter =  ''
END
IF  @ Group IS NOT NULL AND  @ Group  !=  ''
SET  @strGroup =  ' GROUP BY '  + @ Group  +  ' '
ELSE
SET  @strGroup =  ''
/*执行查询语句*/
EXEC (
'
DECLARE @SortColumn '  + @type +  '
SET ROWCOUNT '  + @strStartRow +  '
SELECT @SortColumn='  + @strSortColumn +  ' FROM '  + @Tables + @strFilter +  ' '  + @strGroup +  ' ORDER BY '  + @Sort +  '
SET ROWCOUNT '  + @strPageSize +  '
SELECT '  + @Fields +  ' FROM '  + @Tables +  ' WHERE '  + @strSortColumn + @operator +  ' @SortColumn '  + @strSimpleFilter +  ' '  + @strGroup +  ' ORDER BY '  + @Sort +  '
'
)
GO