DataSet和DataReader

在网上关于DataSet和DataReader的使用的讨论很多，大都是讨论到底该使用DataSet还是DataReader，我也发表一下我的看法。先看一下DataSet和DataReader的区别，DataSet实际上是一个离线数据集，DataSet不用保持数据库连接，而 DataReader需要保持数据库连接，这应当是两者的本质区别，分别对应的ava中的CachedRowSet 和ResultSet,所以两者各有各的用处，DataSet使用前必须填充，所以必须从内存中开辟内存存储DataSet的内容，而 DataReader的使用必须使数据库连接有效，但是不必开辟内存存储所有的数据，所以在数据量较小时，使用DataSet可以提升性能，因为所有的数据都在内存中操作，但数据量较大时(“较大“的标准不一，一般上千条的数据应当称作较大了吧)使用DataReader就有优势，因为 DataReader每次读取都是利用自身保持的数据库连接从数据库中动态读取，不会将大量的数据一下装入内存(也就是所谓的懒装入 lazyloding)，但缺点是只读，并且是仅向前的，如果你要多次使用同一个数据，还是得先缓存该数据，否则读取一次后将不能重复读取，所以建议就是数据量较少的时候用DataSet，而数据量大时使用DataReader当然，不管使用那个，都应当尽量将查询数量降到最低，只有这样才能做到高效使用，另外，如果你针对每一条数据都需要一个耗时操作的话，要避免使用DataReader，因为数据库连接资源是非常宝贵的，一个服务器连接池中一般就十几个连接罢了，要是每人都保持连接的话，用不了多久就会耗光。

 

DataSet和SqlDataReader性能测试

转自： http://www.cnblogs.com/frank_xl/archive/2009/01/15/1375976.html

DataSet和SqlDataReader的比较的文章和帖子网上已经很多,我也看了很多前辈的随笔.自己在面试和实际工作中也遇到这样的问题.但是始终是没深入进行学习.最近在工作空闲之余,特地查阅了一些文章,也包括msdn的官方文档.自己建立数据库和测试程序,对 DataSet和SqlDataReader做了比较.
   首先关于两者比较主流的观点就是:
1. DataReader使用时始终占用SqlConnection,在线操作数据库.DataSet则是将数据一次性加载在内存中.支持数据库访问的断开连接模型.
2. DataReader每次只在内存中加载一条数据,节约内存.DataSet将数据全部加载在内存中.比较消耗内存.
3. DataReader单向只读.DataSet支持查询/修改/删除等操作,比较灵活.
4. DataReader与 SqlCommand搭配.DataSet与DataAdapter 结合使用.

为什么会这样呢?我们就来分析一下具体的原因.查看一下msdn关于 两者的不同描述:
1>SqlDataReader 类提供一种从 SQL Server 数据库读取行的只进流的方式。无法继承此类。 命名空间：   System.Data.SqlClient 程序集：  System.Data（在 System.Data.dll 中）.可以使用 ADO.NET DataReader 从数据库中检索只读、只进的数据流。查询结果在查询执行时返回，在并存储在客户端的网络缓冲区中，直到您使用 DataReader 的 Read 方法对它们发出请求。使用 DataReader 可以提高应用程序的性能，原因是它只要数据可用就立即检索数据，并且（默认情况下）一次只在内存中存储一行，减少了系统开销。
2> DataSet 对象是支持 ADO.NET 的断开式、分布式数据方案的核心对象。DataSet 是数据的内存驻留表示形式，无论数据源是什么，它都会提供一致的关系编程模型。它可以用于多种不同的数据源，用于 XML 数据，或用于管理应用程序本地的数据。DataSet 表示包括相关表、约束和表间关系在内的整个数据集。下图将显示 DataSet 对象模型。
   
     从上面的描述可以看出, DataReader和DataSet具有不同的结构模型.在数据的方式处理上也存在显著的差别.SqlDataReader 会避免创建不必要的对象或复制不必要的数据.DataSet 可以表示完整的数据模型，包括表格、约束条件和表关系.在对象的创建和销毁等环节需要消耗更多的资源,因此在性能上也稍显逊色.因此很多文章得出的结论也是在只进行读数据操作的情况下, DataReader的性能要强于DataSet.但是很多文章都没有相应的测试,就盲目下结论.

但是好奇心理的驱使使我很想来做个试验来验证一下这个结论,到底 DataReader比DataSet在查询数据的时候,性能会不会胜出,如果前者更优的话那么会超出多少?我自己写了个小程序,自己建立的数据库进行了实验.  实验测试环境如下：
硬件：

CPU	Intel T2300 1.66GHz
内存	Kingston DDR2 667 1G
硬盘	80G 5400转 8m

软件：

操作系统	Windows Server 2003
数据库系统	SQL Server 2005 Enterprise
数据规模	1000000条数据

数据库表结构
Test

名称	类型	备注
id	int	标志/聚集索引
name	nvarchar(50)	非聚集索引
birthday	datetime	生日
height	int	身高
sex	int	性别
address	nvarchar(100)	地址
lastlogintime	datetime	非聚集索引

具体的实验程序c#代码如下,使用了 using System.Data.SqlClient;
using System.Diagnostics;两个namespace下的类,Stopwatch对象用来进行计时.
测试DataSet的代码:

Code
1
using (SqlConnection conn =
new SqlConnection("Data Source=127.0.0.1;Initial Catalog=Test;Integrated Security=True"))
2            {
3                Stopwatch st =
new Stopwatch();
4                st.Start();
5                conn.Open();
6                SqlDataAdapter da =
new SqlDataAdapter(sQuery, conn);
7                st.Stop();
8                //textBox3.Text = st.ElapsedMilliseconds.ToString();
9
10                st.Start();
11                DataSet ds =
new DataSet("test");
12                da.Fill(ds);
13                st.Stop();
14                long ltimes = st.ElapsedMilliseconds;
15                //textBox1.Text = ltimes.ToString();
16                conn.Close();
17                /**////textBox3.Text = sizeof(DataSet);
18            }
19            

测试DataReader的代码:

Code
1
using (SqlConnection conn =
new SqlConnection("Data Source=127.0.0.1;Initial Catalog=Test;Integrated Security=True"))
2            {
3
4                Stopwatch st =
new Stopwatch();
5                st.Start();
6                conn.Open();
7                SqlCommand Comm =
new SqlCommand(sQuery, conn);
8                st.Stop();
9                textBox4.Text = st.ElapsedMilliseconds.ToString();
10                st.Start();
11                SqlDataReader reader = Comm.ExecuteReader();
12                while (reader.Read())
13                {
14                    
15                }
16                st.Stop();
17                long ltimes = st.ElapsedMilliseconds;
18                textBox2.Text = ltimes.ToString();
19                conn.Close();
20                //textBox4.Text = sizeof(SqlDataReader);
21            }
测试语句和时间ms分别如下:

语句	DataSet费时	DataReader费时
string sQuery = "SELECT * FROM dbo.test where id <= 1"	0ms	0ms
string sQuery = "SELECT * FROM dbo.test where id <=10"	1ms	1ms
string sQuery = "SELECT * FROM dbo.test where id <=100"	2ms	3ms
string sQuery = "SELECT * FROM dbo.test where id <=1000"	5ms	6ms
string sQuery = "SELECT * FROM dbo.test where id <=10000"	8ms	50ms

从试验结果分析可以得出如下结论:
1.在查询数据量很少的情况下100条内, DataReader和DataSet几乎没有什么明显的性能差别.
2.数据量过大,接近10000条的时候的数据查询, DataReader的性能要明显优于DataSet.
对于两者的性能对比,不应该轻易下结论,除了参考实验设备,也要考虑实际的数据规模.
具体项目应用中,选择适合具体需求的对象进行数据处理,才能有效的提高系统的性能.
          本文的测试环境和结果可能存在偏差,但是希望能给大家带来一些帮助,一起交流学习.谢谢.