大数据量分页存储过程效率测试附代码

大数据量分页存储过程效率测试附代码

在项目中,我们经常遇到或用到分页,那么在大数据量(百万级以上)下,哪种分页算法效率最优呢?我们不妨用事实说话。

测试环境

硬件:CPU 酷睿双核T5750  内存:2G

软件:Windows server 2003    +   Sql server 2005

OK,我们首先创建一数据库:data_Test,并在此数据库中创建一表:tb_TestTable

复制代码
1 create database data_Test  -- 创建数据库data_Test
2 GO
3 use data_Test
4 GO
5 create table tb_TestTable   -- 创建表
6 (
7     id int identity ( 1 , 1 ) primary key ,
8     userName nvarchar ( 20 ) not null ,
9     userPWD nvarchar ( 20 ) not null ,
10     userEmail nvarchar ( 40 ) null
11 )
12 GO
复制代码

然后我们在数据表中插入2000000条数据:

复制代码
1 -- 插入数据
2 set identity_insert tb_TestTable on
3 declare @count int
4 set @count = 1
5 while @count <= 2000000
6 begin  
7     insert into tb_TestTable(id,userName,userPWD,userEmail) values ( @count , ' admin ' , ' admin888 ' , ' [email protected] ' )
8     set @count = @count + 1
9 end
10 set identity_insert tb_TestTable off
复制代码

我首先写了五个常用存储过程:

1,利用select top 和select not in进行分页,具体代码如下:

复制代码
1 create procedure proc_paged_with_notin  -- 利用select top and select not in
2 (
3     @pageIndex int -- 页索引
4     @pageSize int     -- 每页记录数
5 )
6 as
7 begin
8     set nocount on ;
9     declare @timediff datetime -- 耗时
10     declare @sql nvarchar ( 500 )
11     select @timediff = Getdate ()
12     set @sql = ' select top ' + str ( @pageSize ) + ' * from tb_TestTable where(ID not in(select top ' + str ( @pageSize * @pageIndex ) + ' id from tb_TestTable order by ID ASC)) order by ID '
13     execute ( @sql -- 因select top后不支技直接接参数,所以写成了字符串@sql
14     select datediff (ms, @timediff , GetDate ()) as 耗时
15     set nocount off ;
16 end
复制代码

2,利用select top 和 select max(列键)

复制代码
1 create procedure proc_paged_with_selectMax  -- 利用select top and select max(列)
2 (
3     @pageIndex int -- 页索引
4     @pageSize int     -- 页记录数
5 )
6 as
7 begin
8 set nocount on ;
9     declare @timediff datetime
10     declare @sql nvarchar ( 500 )
11     select @timediff = Getdate ()
12     set @sql = ' select top ' + str ( @pageSize ) + ' * From tb_TestTable where(ID>(select max(id) From (select top ' + str ( @pageSize * @pageIndex ) + ' id From tb_TestTable order by ID) as TempTable)) order by ID '
13     execute ( @sql )
14     select datediff (ms, @timediff , GetDate ()) as 耗时
15 set nocount off ;
16 end
复制代码

3,利用select top和中间变量--此方法因网上有人说效果最佳,所以贴出来一同测试

复制代码
1 create procedure proc_paged_with_Midvar  -- 利用ID>最大ID值和中间变量
2 (
3     @pageIndex int ,
4     @pageSize int
5 )
6 as
7     declare @count int
8     declare @ID int
9     declare @timediff datetime
10     declare @sql nvarchar ( 500 )
11 begin
12 set nocount on ;
13     select @count = 0 , @ID = 0 , @timediff = getdate ()
14     select @count = @count + 1 , @ID = case when @count <= @pageSize * @pageIndex then ID else @ID end from tb_testTable order by id
15     set @sql = ' select top ' + str ( @pageSize ) + ' * from tb_testTable where ID> ' + str ( @ID )
16     execute ( @sql )
17     select datediff (ms, @timediff , getdate ()) as 耗时
18 set nocount off ;
19 end
20
复制代码

4,利用Row_number() 此方法为SQL server 2005中新的方法,利用Row_number()给数据行加上索引

复制代码
1 create procedure proc_paged_with_Rownumber  -- 利用SQL 2005中的Row_number()
2 (
3     @pageIndex int ,
4     @pageSize int
5 )
6 as
7     declare @timediff datetime
8 begin
9 set nocount on ;
10     select @timediff = getdate ()
11     select * from ( select * ,Row_number() over ( order by ID asc ) as IDRank from tb_testTable) as IDWithRowNumber where IDRank > @pageSize * @pageIndex and IDRank < @pageSize * ( @pageIndex + 1 )
12     select datediff (ms, @timediff , getdate ()) as 耗时
13 set nocount off ;
14 end
15
复制代码

5,利用临时表及Row_number

复制代码
1 create procedure proc_CTE  -- 利用临时表及Row_number
2 (
3     @pageIndex int -- 页索引
4     @pageSize int     -- 页记录数
5 )
6 as
7     set nocount on ;
8     declare @ctestr nvarchar ( 400 )
9     declare @strSql nvarchar ( 400 )
10     declare @datediff datetime
11 begin
12     select @datediff = GetDate ()
13     set @ctestr = ' with Table_CTE as
14                 (select ceiling((Row_number() over(order by ID ASC))/ ' + str ( @pageSize ) + ' ) as page_num,* from tb_TestTable) ' ;
15     set @strSql = @ctestr + ' select * From Table_CTE where page_num= ' + str ( @pageIndex )
16 end
17     begin
18         execute sp_executesql @strSql
19         select datediff (ms, @datediff , GetDate ())
20     set nocount off ;
21     end
22
复制代码

OK,至此,存储过程创建完毕,我们分别在每页10条数据的情况下在第2页,第1000页,第10000页,第100000页,第199999页进行测试,耗时单位:ms  每页测试5次取其平均值

存过 第2页耗时 第1000页耗时 第10000页耗时 第100000页耗时 第199999页耗时 效率排行
1用not in 0ms 16ms 47ms 475ms 953ms 3
2用select max 5ms 16ms 35ms 325ms 623ms 1
3中间变量 966ms 970ms 960ms 945ms 933ms 5
4row_number 0ms 0ms 34ms 365ms 710ms 2
4临时表 780ms 796ms 798ms 780ms 805ms 4

 

测试结果显示:select max >row_number>not in>临时表>中间变量

于是我对效率最高的select max方法用2分法进行了扩展,代码取自互联网,我修改了ASC排序时取不到值的BUG,测试结果:

2分法 156ms 156ms 180ms 470ms 156ms 1*

 

 

从测试结果来看,使用2分法确实可以提高效率并使效率更为稳定,我又增加了第159999页的测试,用时仅296ms,效果相当的不错!

下面是2分法使用select max的代码,已相当完善。

复制代码
  1 -- /*-----存储过程 分页处理 孙伟 2005-03-28创建 -------*/
  2 -- /*-----存储过程 分页处理 浪尘 2008-9-1修改----------*/
  3 -- /*----- 对数据进行了2分处理使查询前半部分数据与查询后半部分数据性能相同 -------*/
  4
  5 alter PROCEDURE proc_paged_2part_selectMax
  6 (
  7 @tblName      nvarchar ( 200 ),        -- --要显示的表或多个表的连接
  8 @fldName      nvarchar ( 500 ) = ' * ' ,    -- --要显示的字段列表
  9 @pageSize     int = 10 ,        -- --每页显示的记录个数
10 @page         int = 1 ,        -- --要显示那一页的记录
11 @fldSort     nvarchar ( 200 ) = null ,    -- --排序字段列表或条件
12 @Sort         bit = 0 ,        -- --排序方法,0为升序,1为降序(如果是多字段排列Sort指代最后一个排序字段的排列顺序(最后一个排序字段不加排序标记)--程序传参如:' SortA Asc,SortB Desc,SortC ')
13 @strCondition     nvarchar ( 1000 ) = null ,    -- --查询条件,不需where
14 @ID         nvarchar ( 150 ),        -- --主表的主键
15 @Dist                  bit = 0 ,           -- --是否添加查询字段的 DISTINCT 默认0不添加/1添加
16 @pageCount     int = 1 output,            -- --查询结果分页后的总页数
17 @Counts     int = 1 output                -- --查询到的记录数
18 )
19 AS
20 SET NOCOUNT ON
21 Declare @sqlTmp nvarchar ( 1000 )        -- --存放动态生成的SQL语句
22 Declare @strTmp nvarchar ( 1000 )        -- --存放取得查询结果总数的查询语句
23 Declare @strID      nvarchar ( 1000 )        -- --存放取得查询开头或结尾ID的查询语句
24
25 Declare @strSortType nvarchar ( 10 )    -- --数据排序规则A
26 Declare @strFSortType nvarchar ( 10 )    -- --数据排序规则B
27
28 Declare @SqlSelect nvarchar ( 50 )         -- --对含有DISTINCT的查询进行SQL构造
29 Declare @SqlCounts nvarchar ( 50 )          -- --对含有DISTINCT的总数查询进行SQL构造
30
31 declare @timediff datetime   -- 耗时测试时间差
32 select @timediff = getdate ()
33
34 if @Dist   = 0
35 begin
36     set @SqlSelect = ' select '
37     set @SqlCounts = ' Count(*) '
38 end
39 else
40 begin
41     set @SqlSelect = ' select distinct '
42     set @SqlCounts = ' Count(DISTINCT ' + @ID + ' ) '
43 end
44
45
46 if @Sort = 0
47 begin
48     set @strFSortType = ' ASC '
49     set @strSortType = ' DESC '
50 end
51 else
52 begin
53     set @strFSortType = ' DESC '
54     set @strSortType = ' ASC '
55 end
56
57
58
59 -- ------生成查询语句--------
60 -- 此处@strTmp为取得查询结果数量的语句
61 if @strCondition is null or @strCondition = ''      -- 没有设置显示条件
62 begin
63     set @sqlTmp =   @fldName + ' From ' + @tblName
64     set @strTmp = @SqlSelect + ' @Counts= ' + @SqlCounts + ' FROM ' + @tblName
65     set @strID = ' From ' + @tblName
66 end
67 else
68 begin
69     set @sqlTmp = + @fldName + ' From ' + @tblName + ' where (1>0) ' + @strCondition
70     set @strTmp = @SqlSelect + ' @Counts= ' + @SqlCounts + ' FROM ' + @tblName + ' where (1>0) ' + @strCondition
71     set @strID = ' From ' + @tblName + ' where (1>0) ' + @strCondition
72 end
73
74 -- --取得查询结果总数量-----
75 exec sp_executesql @strTmp ,N ' @Counts int out ' , @Counts out
76 declare @tmpCounts int
77 if @Counts = 0
78     set @tmpCounts = 1
79 else
80     set @tmpCounts = @Counts
81
82     -- 取得分页总数
83     set @pageCount = ( @tmpCounts + @pageSize - 1 ) / @pageSize
84
85     /**/ /**当前页大于总页数 取最后一页**/
86     if @page > @pageCount
87         set @page = @pageCount
88
89     -- /*-----数据分页2分处理-------*/
90     declare @pageIndex int -- 总数/页大小
91     declare @lastcount int -- 总数%页大小 
92
93     set @pageIndex = @tmpCounts / @pageSize
94     set @lastcount = @tmpCounts % @pageSize
95     if @lastcount > 0
96         set @pageIndex = @pageIndex + 1
97     else
98         set @lastcount = @pagesize
99
100     -- //***显示分页
101     if @strCondition is null or @strCondition = ''      -- 没有设置显示条件
102     begin
103         if @pageIndex < 2 or @page <= @pageIndex / 2 + @pageIndex % 2    -- 前半部分数据处理
104             begin  
105                 if @page = 1
106                     set @strTmp = @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName                         
107                         + ' order by ' + @fldSort + ' ' + @strFSortType
108                 else
109                 begin
110                     if @Sort = 1
111                     begin                     
112                     set @strTmp = @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
113                         + ' where ' + @ID + ' <(select min( ' + @ID + ' ) from ( ' + @SqlSelect + ' top ' + CAST ( @pageSize * ( @page - 1 ) as Varchar ( 20 )) + ' ' + @ID + ' from ' + @tblName
114                         + ' order by ' + @fldSort + ' ' + @strFSortType + ' ) AS TBMinID) '
115                         + ' order by ' + @fldSort + ' ' + @strFSortType
116                     end
117                     else
118                     begin
119                     set @strTmp = @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
120                         + ' where ' + @ID + ' >(select max( ' + @ID + ' ) from ( ' + @SqlSelect + ' top ' + CAST ( @pageSize * ( @page - 1 ) as Varchar ( 20 )) + ' ' + @ID + ' from ' + @tblName
121                         + ' order by ' + @fldSort + ' ' + @strFSortType + ' ) AS TBMinID) '
122                         + ' order by ' + @fldSort + ' ' + @strFSortType  
123                     end
124                 end     
125             end
126         else
127             begin
128             set @page = @pageIndex - @page + 1 -- 后半部分数据处理
129                 if @page <= 1 -- 最后一页数据显示                
130                     set @strTmp = @SqlSelect + ' * from ( ' + @SqlSelect + ' top ' + CAST ( @lastcount as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
131                         + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TempTB ' + ' order by ' + @fldSort + ' ' + @strFSortType  
132                 else
133                     if @Sort = 1
134                     begin
135                     set @strTmp = @SqlSelect + ' * from ( ' + @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
136                         + ' where ' + @ID + ' >(select max( ' + @ID + ' ) from( ' + @SqlSelect + ' top ' + CAST ( @pageSize * ( @page - 2 ) + @lastcount as Varchar ( 20 )) + ' ' + @ID + ' from ' + @tblName
137                         + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TBMaxID) '
138                         + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TempTB ' + ' order by ' + @fldSort + ' ' + @strFSortType
139                     end
140                     else
141                     begin
142                     set @strTmp = @SqlSelect + ' * from ( ' + @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
143                         + ' where ' + @ID + ' <(select min( ' + @ID + ' ) from( ' + @SqlSelect + ' top ' + CAST ( @pageSize * ( @page - 2 ) + @lastcount as Varchar ( 20 )) + ' ' + @ID + ' from ' + @tblName
144                         + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TBMaxID) '
145                         + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TempTB ' + ' order by ' + @fldSort + ' ' + @strFSortType  
146                     end
147             end
148     end
149
150     else -- 有查询条件
151     begin
152         if @pageIndex < 2 or @page <= @pageIndex / 2 + @pageIndex % 2    -- 前半部分数据处理
153         begin
154                 if @page = 1
155                     set @strTmp = @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName                         
156                         + ' where 1=1 ' + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType
157                 else if ( @Sort = 1 )
158                 begin                     
159                     set @strTmp = @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
160                         + ' where ' + @ID + ' <(select min( ' + @ID + ' ) from ( ' + @SqlSelect + ' top ' + CAST ( @pageSize * ( @page - 1 ) as Varchar ( 20 )) + ' ' + @ID + ' from ' + @tblName
161                         + ' where (1=1) ' + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType + ' ) AS TBMinID) '
162                         + ' ' + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType
163                 end
164                 else
165                 begin
166                     set @strTmp = @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
167                         + ' where ' + @ID + ' >(select max( ' + @ID + ' ) from ( ' + @SqlSelect + ' top ' + CAST ( @pageSize * ( @page - 1 ) as Varchar ( 20 )) + ' ' + @ID + ' from ' + @tblName
168                         + ' where (1=1) ' + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType + ' ) AS TBMinID) '
169                         + ' ' + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType  
170                 end            
171         end
172         else
173         begin  
174             set @page = @pageIndex - @page + 1 -- 后半部分数据处理
175             if @page <= 1 -- 最后一页数据显示
176                     set @strTmp = @SqlSelect + ' * from ( ' + @SqlSelect + ' top ' + CAST ( @lastcount as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
177                         + ' where (1=1) ' + @strCondition + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TempTB ' + ' order by ' + @fldSort + ' ' + @strFSortType                      
178             else if ( @Sort = 1 )
179                     set @strTmp = @SqlSelect + ' * from ( ' + @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
180                         + ' where ' + @ID + ' >(select max( ' + @ID + ' ) from( ' + @SqlSelect + ' top ' + CAST ( @pageSize * ( @page - 2 ) + @lastcount as Varchar ( 20 )) + ' ' + @ID + ' from ' + @tblName
181                         + ' where (1=1) ' + @strCondition + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TBMaxID) '
182                         + ' ' + @strCondition + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TempTB ' + ' order by ' + @fldSort + ' ' + @strFSortType     
183             else
184                     set @strTmp = @SqlSelect + ' * from ( ' + @SqlSelect + ' top ' + CAST ( @pageSize as VARCHAR ( 4 )) + ' ' + @fldName + ' from ' + @tblName
185                         + ' where ' + @ID + ' <(select min( ' + @ID + ' ) from( ' + @SqlSelect + ' top ' + CAST ( @pageSize * ( @page - 2 ) + @lastcount as Varchar ( 20 )) + ' ' + @ID + ' from ' + @tblName
186                         + ' where (1=1) ' + @strCondition + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TBMaxID) '
187                         + ' ' + @strCondition + ' order by ' + @fldSort + ' ' + @strSortType + ' ) AS TempTB ' + ' order by ' + @fldSort + ' ' + @strFSortType             
188         end     
189     end
190
191 -- ----返回查询结果-----
192 exec sp_executesql @strTmp
193 select datediff (ms, @timediff , getdate ()) as 耗时
194 -- print @strTmp
195 SET NOCOUNT OFF
196 GO
197
复制代码

执行示例:exec proc_paged_2part_selectMax 'tb_testTable','ID,userName,userPWD,userEmail',10,100000,'ID',0,null,'ID',0

这种测试只在单机进行,并且没有在实际开发WEB项目中分页测试,测试项也比较单一,所以不够全面系统,但从其效率相比上,我们可以在数据库分页算法上进行有效的控制。



分类: MSSQL
6
0
    (请您对文章做出评价)   
» 博主后一篇: 设计模式的演化(一):都是月亮惹的祸


posted on 2008-09-03 13:43 浪尘 阅读(16359) 评论( 40编辑 收藏

FeedBack:
#1楼   2008-09-03 14:03 星际
恰好我也遇到了分页效率的问题

SELECT  spaceid,spacetitle  FROM
(select  A.[spaceid], A.[spacetitle],
ROW_NUMBER() Over(order by A.Blog_BlogWeights DESC, A.createdatetime DESC) as rowNum
from tb_spaceconfigs A ) selectview
where rowNum between 140245 and 140248

在我这边,查询分析器已经需要8秒才会有结果出来,不知为何
  回复引用
#2楼   2008-09-03 14:11 极品拖拉机
个人觉得拼SQL语句太麻烦了。如果查询条件多,且各种类型,如包含时间类型,拼SQL语句转换比较麻烦。
现在相当多的大数据量分页存储过程都是拼SQL语句,不知道有其他办法没
  回复引用
#3楼 [ 楼主2008-09-03 14:13 浪尘
我每次重启电脑后直接打开SQL 再进行测试,第一次测试也需6秒左右,但随后速度就很快,和我正文的测试速度相似。
  回复引用
#4楼   2008-09-03 14:17 gakaki[未注册用户]
开发效率抵消select max法 我选rownubmber 就那么点差别 100毫秒而已能忍受 不够换oracle
  回复引用
#5楼   2008-09-03 14:18 Dooloo[未注册用户]
呵呵 又见这个存储过程:)
  回复引用
#6楼   2008-09-03 14:32 轻舞.net
如果是种调用频繁的最好还是单独写个钟对一个表查询的存储过程.不要为了省哪几个存储过程.真是排序字段不是随便指定的.(数据量大排序字段如果没有索引的话.哪是相当慢的).我现论坛主题数超过200W了.但是分页查询都是10ms以内的.
http://bbs.21mmo.com/
你可以访问下看看
  回复引用
#7楼   2008-09-03 14:49 金色海洋(jyk)
http://www.cnblogs.com/jyk/archive/2008/08/04/1260406.html

我也做过类似的测试,感觉你的

4临时表 780ms 796ms 798ms 780ms

测试结果有点奇怪,为什么不管翻到哪一页,需要的时间都差不多呢?
我的测试结果是前面快,后面慢的。

  回复引用
#8楼   2008-09-03 14:50 BugView[未注册用户]
那个2分 应该是这里出的吧.
http://blog.csdn.net/hertcloud/category/281167.aspx
好像csdn上的呢.
  回复引用
#9楼   2008-09-03 15:14 暗香浮动
rownubmber
效率也还是很不错的么
其他的相对来说都太复杂了.
  回复引用
#10楼   2008-09-03 15:17 有容乃大
综合来看,还是Row_number() 不错,效果高且代码简单。

-----------------------------------------------
隆重发布.net项目开发工具(V3.0 ):
http://www.cnblogs.com/mrhgw/archive/2008/08/06/1261664.html
http://www.mrhgw.cn/
  回复引用
#11楼   2008-09-03 15:19 是[未注册用户]
SQL2005支持SELECT TOP (变量)
  回复引用
#12楼   2008-09-03 15:31 Tony Zhou
#13楼 [ 楼主2008-09-03 16:08 浪尘
@金色海洋(jyk)


看了兄台的文章,你是在.net环境下测试,使用了QuickPager 分页控件,环境有所不同,不过测试时间确实不太一样。

我用临时表前后时间都差不多。。。每次都是如此。。。不知是不是哪写得不妥
  回复引用
#14楼   2008-09-03 16:48 强000[未注册用户]
PROCEDURE proc_paged_2part_selectMax  sql200平台可以通过吗??
  回复引用
#15楼   2008-09-03 16:52 金色海洋(jyk)
我的CPU没有你的CPU厉害,我在测试的时候CPU都是满负荷运转的,所以呢,我的会比你的慢一些才对的。

  回复引用
#16楼 [ 楼主2008-09-03 16:59 浪尘
@强000

可以
  回复引用
#17楼   2008-09-03 17:41 DotNet菜园
max能使用在guid或字符串做为主键的表吗?不能!
我觉得还是row_number()合适.

还有楼主做测试的时候,是不是重启过电脑.
是每种测试重启一下,还是每一次读到重启一下.
  回复引用
#18楼   2008-09-03 17:50 luotong
以我看来还是row_number最好,因为从你的测试中看出,前10000页中它是最快的。到了后面可能没有其它的快,但是除了测试外,还有谁会翻到10000页以后呢?百度的搜索结果也才70多页。

  回复引用
#19楼   2008-09-03 21:28 使名扬
万能分页还是oracle最好。本来我对Sqlserver2005很期待的。但是还是让人失望。

mysql 的limit虽然简单但是总让人不放心。

而oracle可以作到以一条可以执行的sql为参数,通过万能分页组合就能取任意几段。相当方便。
  回复引用
#20楼   2008-09-03 23:21 潜水员
我也写过2个分页存储过程的比较,一个使用row_number还有一个使用游标,测试结果是发现2个存储过程的耗时几乎一样,row_number方法的耗时相对要比游标稍微快几毫秒,而且不管是查询第几页的数据基本上都是一致的,文章地址: http://www.divestudio.net/JSZT/SQLServer/2008/08/08/173336140.htm博客园的地址: http://www.cnblogs.com/zhengyulu-2008/articles/1095534.html
  回复引用
#21楼   2008-09-04 10:12 Leem
有没有支持多字段排序的row_number存储过程.
  回复引用
#22楼   2008-09-04 14:09 曲滨*銘龘鶽
sqlserver 分页
不知2008 能否出现比较完美的方法;

sqlsever 2000 方式的top max 啥的必须有数字型id才可以分页;
这在某些时候其实是一种对于方式,比如有些表就是guid 主键的
还要为表建立个没啥用的数字键;

2005 虽然可以 ROW_NUMBER() Over(...)
但是必须 over 是个很不太方便的方式,虽然有方法可以解决必须数字pk 的方法,不过还是恶心点;

如果能提供一个不要 over 仍然可以分页的方法就好了;
如果提供一套专门底层封装的分页函数就好了;


其实最主要的是 还有子查询不能排序,分组什么的才是最大问题;

标准行号,子查询排序分组;很多数据库都有的功能,不知sqlserver 何年何月
才能提供;





  回复引用
#23楼   2008-09-04 14:21 曲滨*銘龘鶽
@使名扬
的确

Oracle 有行号关键字,而且子查询可以分组排序条等
根本不需要什么存储过程对这东西封装,子要在原来的sql 外面包一层就可以了


因为封装后,where 参数比较多的情况,对性能有影响
因为 sql 有可能是 where :p1 >x1 and :p2 =x2 and :pn = xn
这样的参数很难估计,如果是封装成存储过程

就用不上数据库对参数型,sql 语句的性能优化了,oracle 如此
sqlserver 也如此;所有我多半情况不管那个数据库都不会把分页封装成
存储过程;
因为参数型sql 的性能远比拼串方式高的多;
  回复引用
这个存储过程很不错,单表和多表联合都能够执行得很好, 只是有一个问题,那就是多字段排序的个时候,执行结果就不对了!
  回复引用
#25楼   2008-10-14 13:59 Linken[未注册用户]
按其他字段排序时,根本就不对。
  回复引用
#26楼   2008-11-07 10:23 小鸿
呵呵  这里的row_number似乎和oracle里面的row_number不同啊。
  我原以为可以改成:
select *,row_number() over(order by id asc) as rows
from table where rows......
赞一个。。。
  回复引用
#27楼   2009-02-16 18:16 印黎[未注册用户]
使用【2分法使用select max的代码】进行大数据分页的时候,发现传入的参数是最后几页的时候发现显示的记录不正确?麻烦楼主查看一下 很急,谢谢。
  回复引用
#28楼   2009-03-09 00:06 zhshw
顶博主!!谢谢喽!!学习中....
  回复引用
#29楼   2009-03-12 02:27 花猫.NET
升序的时候查询不出记录。
  回复引用
#30楼   2009-06-04 10:58 人生快乐人生
为什么 我的执行不了啊 博主帮帮忙
消息 208,级别 16,状态 6,过程 proc_paged_2part_selectMax,第 195 行
对象名  'proc_paged_2part_selectMax' 无效。
  回复引用
#31楼   2009-08-31 16:31 wiwj[未注册用户]
为何我测试下来,利用top 的性能比 row_number 的性能好,特别是在前100页内。
  我是对一个视图进行分页查询,该视图关联了好几个表。
  回复引用
exec proc_paged_with_selectMax 'tb_testTable','ID,userName,userPWD,userEmail',100000,3,'ID',0,null,'ID',0  --利用select top 和 select max(列键)

消息 102,级别 15,状态 1,第 1 行
'*' 附近有语法错误。


  回复引用
#33楼   2010-07-08 16:38 我不是高手
楼主,太感谢您了,我正在找这个,用事实说话!我们PM要求用临时表,我喜欢用row_number()。请问楼主,如果需要JOIN其他表呢,效率排行是不是有所改变?
  回复引用
#34楼   2010-07-08 16:41 我不是高手
@浪尘
请问楼主,如果需要JOIN其他表呢,效率排行是不是有所改变?
  回复引用
#35楼   2011-03-26 10:28 昝昝
首先你写的使用RowNumber的方式并不是最高效的,为什么呢?
select * from (select *,Row_number() over(order by ID asc) as IDRank from tb_testTable) as IDWithRowNumber where IDRank>@pageSize*@pageIndex and IDRank<@pageSize*(@pageIndex+1)
你的上面这段代码会一次从数据库中取出所有的数据,这样操作的数据量会很大,现在你的SQL是在聚集索引中执行的时候你根本看不到这种差别,一旦你是在非聚集索引中执行上述代码的时候你的查询就会非常非常慢,正确的做法应该是先取出ID,再根据主键来查数据,就像下面这样。
select a.*
from tb_testTable as a
inner join ((select ID,Row_number() over(order by ID asc) as IDRank
from tb_testTable) as IDWithRowNumber
where IDRank>@pageSize*@pageIndex and IDRank<@pageSize*(@pageIndex+1)) as b
ON a.ID = a.ID
    order by b.IDRank
其次使用Max的方式是比较快,但是如果你是在数据不唯一的字段上排序的话可能会因为数据的重复导致这种排序不可用。
这点可以通过查看执行计划和执行统计信息就可以看出来,尤其是在使用非聚集索引的时候差别非常明显。

  回复引用
#37楼   2011-12-14 10:36 垂钓玄武
在方法2中,如果不能对id做max操作,方法不就失效了????
  回复引用
#38楼   2012-04-16 16:01 无名小碑
如果不按主键排序,那排序出来的东西 只有第一页是正确的,我测试了半天才找到原因。
  回复引用
#39楼   2012-05-08 16:07 黄伟伟(huangweiwei)
查询条件有 ' 会出问题 比如 :

有什么解决方法
?
1
2
3
4
5
6
7
8
9
10
declare @pageCount int
declare @counts int
declare @pageSize int
declare @currPage int
set @pageSize = 100
set @currPage = 2
exec Proc_Paging 'pageTest' , '*' ,@pageSize,@currPage, 'id' ,0,
' col02 like ' 0% ' ' ,
'id' ,0,@pageCount output ,@counts output
select @pageCount as pageCount,@counts as counts

你可能感兴趣的:(存储过程)