ADO.NET 新特性之SqlBulkCopy

在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而 在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关 系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数 据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:

首先:web.config

ADO.NET 新特性之SqlBulkCopy <connectionStrings>
ADO.NET 新特性之SqlBulkCopy    <add name="srcDBConnection" connectionString="server=.;database=pubs;uid=sa;pwd="/>
ADO.NET 新特性之SqlBulkCopy    <add name="desDBConnection" connectionString="server=.;database=NorthWind;uid=sa;pwd="/>
ADO.NET 新特性之SqlBulkCopy  </connectionStrings>

C#文件: 前台不Copy了,就一个按钮,一个Label

ADO.NET 新特性之SqlBulkCopyusing System;
ADO.NET 新特性之SqlBulkCopyusing System.Data;
ADO.NET 新特性之SqlBulkCopyusing System.Configuration;
ADO.NET 新特性之SqlBulkCopyusing System.Collections;
ADO.NET 新特性之SqlBulkCopyusing System.Web;
ADO.NET 新特性之SqlBulkCopyusing System.Web.Security;
ADO.NET 新特性之SqlBulkCopyusing System.Web.UI;
ADO.NET 新特性之SqlBulkCopyusing System.Web.UI.WebControls;
ADO.NET 新特性之SqlBulkCopyusing System.Web.UI.WebControls.WebParts;
ADO.NET 新特性之SqlBulkCopyusing System.Web.UI.HtmlControls;
ADO.NET 新特性之SqlBulkCopyusing System.Data.SqlClient;
ADO.NET 新特性之SqlBulkCopy
ADO.NET 新特性之SqlBulkCopypublic partial class ASP_NET : System.Web.UI.Page
ADO.NET 新特性之SqlBulkCopy {
ADO.NET 新特性之SqlBulkCopy    private DateTime startTime;
ADO.NET 新特性之SqlBulkCopy
ADO.NET 新特性之SqlBulkCopy    protected void Button1_Click(object sender, EventArgs e)
ADO.NET 新特性之SqlBulkCopy    {
ADO.NET 新特性之SqlBulkCopy        startTime = DateTime.Now;
ADO.NET 新特性之SqlBulkCopy        string srcConnString = "";
ADO.NET 新特性之SqlBulkCopy        string desConnString = "";
ADO.NET 新特性之SqlBulkCopy        SqlConnection srcConnection = new SqlConnection();
ADO.NET 新特性之SqlBulkCopy        SqlConnection desConnection = new SqlConnection();
ADO.NET 新特性之SqlBulkCopy        SqlCommand sqlcmd = new SqlCommand();
ADO.NET 新特性之SqlBulkCopy        SqlDataAdapter da = new SqlDataAdapter();
ADO.NET 新特性之SqlBulkCopy        DataTable dt = new DataTable();
ADO.NET 新特性之SqlBulkCopy        //srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString;
ADO.NET 新特性之SqlBulkCopy        desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString();
ADO.NET 新特性之SqlBulkCopy        //srcConnection.ConnectionString = srcConnString;
ADO.NET 新特性之SqlBulkCopy        srcConnection.ConnectionString = desConnString;
ADO.NET 新特性之SqlBulkCopy        sqlcmd.Connection = srcConnection;
ADO.NET 新特性之SqlBulkCopy        //sqlcmd.CommandText = "select * from jobs";
ADO.NET 新特性之SqlBulkCopy        sqlcmd.CommandText = "select * from abc";
ADO.NET 新特性之SqlBulkCopy        sqlcmd.CommandType = CommandType.Text;
ADO.NET 新特性之SqlBulkCopy        sqlcmd.Connection.Open();
ADO.NET 新特性之SqlBulkCopy        da.SelectCommand = sqlcmd;
ADO.NET 新特性之SqlBulkCopy        da.Fill(dt);
ADO.NET 新特性之SqlBulkCopy
ADO.NET 新特性之SqlBulkCopy        SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
ADO.NET 新特性之SqlBulkCopy        sbc.BulkCopyTimeout = 5000;
ADO.NET 新特性之SqlBulkCopy        sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
ADO.NET 新特性之SqlBulkCopy        sbc.NotifyAfter = dt.Rows.Count;
ADO.NET 新特性之SqlBulkCopy
ADO.NET 新特性之SqlBulkCopy        try
ADO.NET 新特性之SqlBulkCopy        {
ADO.NET 新特性之SqlBulkCopy           // sbc.DestinationTableName = "jobs";
ADO.NET 新特性之SqlBulkCopy            sbc.DestinationTableName = "bcd";
ADO.NET 新特性之SqlBulkCopy            sbc.WriteToServer(dt);
ADO.NET 新特性之SqlBulkCopy        }
ADO.NET 新特性之SqlBulkCopy        catch (Exception ex)
ADO.NET 新特性之SqlBulkCopy        {
ADO.NET 新特性之SqlBulkCopy            lblCounter.Text = ex.Message.ToString();
ADO.NET 新特性之SqlBulkCopy        }
ADO.NET 新特性之SqlBulkCopy        finally
ADO.NET 新特性之SqlBulkCopy        {
ADO.NET 新特性之SqlBulkCopy            sqlcmd.Clone();
ADO.NET 新特性之SqlBulkCopy            srcConnection.Close();
ADO.NET 新特性之SqlBulkCopy            desConnection.Close();
ADO.NET 新特性之SqlBulkCopy            
ADO.NET 新特性之SqlBulkCopy        }
ADO.NET 新特性之SqlBulkCopy
ADO.NET 新特性之SqlBulkCopy    }
ADO.NET 新特性之SqlBulkCopy    private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
ADO.NET 新特性之SqlBulkCopy    {
ADO.NET 新特性之SqlBulkCopy        lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
ADO.NET 新特性之SqlBulkCopy        TimeSpan copyTime = DateTime.Now - startTime;
ADO.NET 新特性之SqlBulkCopy        lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
ADO.NET 新特性之SqlBulkCopy    }
ADO.NET 新特性之SqlBulkCopy}
ADO.NET 新特性之SqlBulkCopy

代码分析:

ADO.NET 新特性之SqlBulkCopySqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
ADO.NET 新特性之SqlBulkCopy先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。
ADO.NET 新特性之SqlBulkCopy

sbc.BulkCopyTimeout = 5000000;    //指定操作完成的Timeout时间

ADO.NET 新特性之SqlBulkCopy sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
ADO.NET 新特性之SqlBulkCopy  sbc.NotifyAfter = dt.Rows.Count;
ADO.NET 新特性之SqlBulkCopy
ADO.NET 新特性之SqlBulkCopy        try
ADO.NET 新特性之SqlBulkCopy         {
ADO.NET 新特性之SqlBulkCopy           // sbc.DestinationTableName = "jobs";
ADO.NET 新特性之SqlBulkCopy            sbc.DestinationTableName = "bcd";
ADO.NET 新特性之SqlBulkCopy            sbc.WriteToServer(dt);
ADO.NET 新特性之SqlBulkCopy        }
ADO.NET 新特性之SqlBulkCopyNotifyAfter 属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。 WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定 DestinationTableName属性,也就是目标数据库的表名,
ADO.NET 新特性之SqlBulkCopy

性能方面:我在Sql中用proc插入68万条数据花了近8分钟,用SqlBulkCopy花了53.234秒~,效率高了7倍耶!不过现在也不做这方面的底层了,呵呵,把自己写的一个测试存储过程也贴上吧,方便自己学习

ADO.NET 新特性之SqlBulkCopycreate table abc
ADO.NET 新特性之SqlBulkCopy(
ADO.NET 新特性之SqlBulkCopy  aid int identity(1,1) primary key,
ADO.NET 新特性之SqlBulkCopy  adesc varchar(50) not null
ADO.NET 新特性之SqlBulkCopy)
ADO.NET 新特性之SqlBulkCopygo
ADO.NET 新特性之SqlBulkCopy
ADO.NET 新特性之SqlBulkCopy /**********存储过程**********************/
ADO.NET 新特性之SqlBulkCopycreate proc addData
ADO.NET 新特性之SqlBulkCopyas
ADO.NET 新特性之SqlBulkCopydeclare @i int
ADO.NET 新特性之SqlBulkCopyset @i=1
ADO.NET 新特性之SqlBulkCopywhile @i < 1000000
ADO.NET 新特性之SqlBulkCopybegin
ADO.NET 新特性之SqlBulkCopyinsert into abc values ('testDescription')
ADO.NET 新特性之SqlBulkCopyset @i = @i + 1
ADO.NET 新特性之SqlBulkCopyend
ADO.NET 新特性之SqlBulkCopygo
ADO.NET 新特性之SqlBulkCopy
ADO.NET 新特性之SqlBulkCopyselect * into titles from pubs.dbo.titles where  1> 3 复制跨数据库的表结构

你可能感兴趣的:(.net)