证明DataReader分页的可行性

记得那是07年的一个下午，我正在网上瞎逛，突然看到一段代码，也就是跟楼主上面的代码类似的，通过DataReader来分页的代码。当时我吓了一跳，这样的代码，是不是稍大些的系统就不能用了呢？因为按我当时的理解，while (dr.Read())，若我的系统有几百万条的数据，那这个while也要转好久了，还要传数据，应该快不了的。可是后来经过我的测试，其实性能是很好的，至少不是我们想像中的那么慢的。

 

在那时候，我用我们系统里面的一个200多W的统计表进行了测试，只是简单的select * from table ，然后在程序里面 while 遍历,最后在GridView上面绑定了一下，效果很好。我记忆深刻，那会白天，在公司里面，前面几页运行良好，后面的页码，当然也包括最后一页，我都不敢去点，怕影响系统性能。等到了晚上回家，我半夜试了一下，居然跟前面几页差距不大，我那时候只是为了测试一下是否可行，也没有使用记时器，但是应该也是在5秒以内就返回了。前面的话，应该也是3,4秒的样子。太让我意外了，同时也太惊喜了。

不过因为系统框架里面都是使用的存储过程，也运行良好，也就一直没有去改过。也就是说，这套分页解决方案，在真正的大数据量下面，我也没有实际在项目中应用过，不过小项目倒是常用。

 

对于一般的系统来说，这个通用的分页解决方案就够用了。对于大一点的，可以通过其它手段，如分表或其它什么的，也能满足一般的应用。

 

 

 

 

 

 

 

想想发到首页，应该出点代码，就又花了些时间补充了一下。

下面是我的测试代码：

 

页面：简单的。

 

         < asp:GridView  ID ="GridView1"  runat ="server" >
         </ asp:GridView >
       
     < lcs:Pager  ID ="Pager1"  runat ="server"  onpagechanged ="Pager1_PageChanged"  AlwaysShow ="true"
        CurrentPageButtonPosition ="Center" >
     </ lcs:Pager >

 

 

 

 

后台代码：也是简单的。

 

        1  private void BindRpt()

 2          {
 3               int  totalCount;
 4               double  beg  =  DateTime.Now.Ticks;
 5               if  (isDatareader)
 6              {
 7                  GridView1.DataSource  =  LCS.Data.DbHelper. GetPager(
 8                      Pager1.PageSize, Pager1.CurrentPageIndex,  " Statistic " ,  " * " ,  " StatisticID " ,  false ,  out  totalCount,  null ,  null); ;
10              }
11               else
12              {
13                  totalCount  =  LCS.Data.DbHelper. GetCount ( " Statistic " ,  "" );
14                  GridView1.DataSource  =  LCS.Data.DbHelper. GetPager (
15                      Pager1.PageSize, Pager1.CurrentPageIndex,  " Statistic " ,  " * " ,  " StatisticID " ,  false ,  null );
16              }
17              Response.Write( " <hr/> "   +  (DateTime.Now.Ticks  -  beg) +   " <hr/> " );
18   
19              GridView1.DataBind();
20              Pager1.RecordCount  =  totalCount;
21          }

 

最后再附上我的DbHelper里面的方法实现：

先看使用datareader的

 

        1  public static DataTable GetPager(int pageSize, int pageIndex,

 2               string  tblName,  string  fldName,  string  fldSort,  bool  isDesc,
 3               out   int  totalCount,  string  condition,  params   object [] parmsValues
 4              )
 5          {
 6               // select * from talble where 1=1 order by fld desc
 7               // 是标准的sql，不需要单独区分
 8               string  sql  =   " select  "   +  fldName  +   "  from  "   +  tblName.ToString()
 9                     +  (( string .IsNullOrEmpty(condition))  ?   string .Empty : ( "  where 1=1  "   +  condition))
10                     +   "  order by  "   +  fldSort.ToString()  +  (isDesc  ?   "  DESC "  :  "  ASC " );
11   
12               using  (DbDataReader reader  =  ExecuteReader(sql, parmsValues))
13              {
14                  DataTable dt  =   new  DataTable();
15                   int  fieldCount  =  reader.FieldCount;
16                   for  ( int  i  =   0 ; i  <  fieldCount; i ++ )
17                  {
18                      DataColumn col  =   new  DataColumn();
19                      col.ColumnName  =  reader.GetName(i);
20                      col.DataType  =  reader.GetFieldType(i);
21                      dt.Columns.Add(col);
22                  }
23                  totalCount  =   0 ;
24                   int  first  =  (pageIndex  -   1 )  *  pageSize  +   1 ;
25                   int  last  =  pageIndex  *  pageSize;
26                   while  (reader.Read())
27                  {
28                      totalCount ++ ;
29                       if  (totalCount  >=  first  &&  last  >=  totalCount)
30                      {
31                          DataRow r  =  dt.NewRow();
32                           for  ( int  i  =   0 ; i  <  fieldCount; i ++ )
33                          {
34                              r[i]  =  reader[i];
35                          }
36                          dt.Rows.Add(r);
37                      }
38                  }
39                   return  dt;
40              }
41          }
42   

 

再看常规的：

       1  public static DbDataReader GetPager(int pageSize, int pageIndex,

2               string  tblName,  string  fldName,  string  fldSort,  bool  isDesc,  string  condition)
3          {
4               return   ExecuteReader (Provider. GetPagerSql (pageSize, pageIndex, tblName, fldName, fldSort, isDesc, condition));
5          }

 

 

//我内部使用了一个格式化sql字符串参数的过程，所以这里有个中转。

 

 1     public   static  DbDataReader  ExecuteReader ( string  format,  params   object [] parameterValues)
 2          {
 3               if  (format  ==   null   ||  format.Length  ==   0 )  throw   new  ArgumentNullException( " commandText " );
 4               if  ((parameterValues  !=   null )  &&  (parameterValues.Length  >   0 ))
 5              {
 6                   // 当存在参数时，格式化参数
 7                  SQlParameterFormatter formatter  =   new  SQlParameterFormatter();
 8                  formatter.Provider  =  Provider;
 9                  formatter.Format(format, parameterValues);
10                   return  ExecuteReader(CommandType.Text, formatter.Sql, formatter.Parameters);
11              }
12               else // 无参数时直接掉用
13              {
14                   return  ExecuteReader(CommandType.Text, format, (DbParameter[]) null );
15              }
16         }

17   

 

//最后再看一下生成分页sql字符串的方法

         1 public string GetPagerSql( int pageSize, int pageIndex,

 2               string  tblName, string  fldName, string  fldSort,  bool  isDesc, string  condition)
 3          {
 4               string  strSort  =  isDesc  ?   "  DESC "  :  "  ASC " ;
 5   
 6               if  (pageIndex  ==   1 )
 7              {
 8                   return   " select top  "   +  pageSize.ToString()  +   "   "   +  fldName  +   "  from  "   +  tblName.ToString()
 9                       +  (( string .IsNullOrEmpty(condition))  ?   string .Empty : ( "  where  "   +  condition))
10                       +   "  order by  "   +  fldSort.ToString()  +  strSort;
11              }
12               else
13              {
14                  System.Text.StringBuilder strSql  =   new  System.Text.StringBuilder();
15                  strSql.AppendFormat( " select top {0} {1} from {2}  " , pageSize,fldName, tblName);
16                  strSql.AppendFormat( "  where {1} not in (select top {0} {1} from {2}  " , pageSize  *  (pageIndex  -   1 ),
17                      (fldSort.Substring(fldSort.LastIndexOf( ' , ' )  +   1 , fldSort.Length  -  fldSort.LastIndexOf( ' , ' )  -   1 )), tblName);
18                   if  ( ! string .IsNullOrEmpty(condition))
19                  {
20                      strSql.AppendFormat( "  where {0} order by {1}{2}) and {0} " , condition, fldSort, strSort);
21                  }
22                   else
23                  {
24                      strSql.AppendFormat( "  order by {0}{1})  " , fldSort, strSort);
25                  }
26                  strSql.AppendFormat( "  order by {0}{1} " , fldSort, strSort);
27                   return  strSql.ToString();
28              }
29          }
30   

 

最后，给想直接看结果的一个连接：

http://jyt.dai8.net:89/test_cb.aspx

 

可别把我的电脑给搞死啦。

 

 经过我的测试，常规的还是比datareader的要来得快，若单是从数值上面看的话，差距还蛮大的，大的差10多倍，小的也要差3，4倍 ，不过对于实用性来说，也是够用啦。因为很多时候，用户是感觉不到的，特别是那些客户端的，或是企业内部使用的，基本上没有并发的项目。