C#读写EXCEL(OLEDB方式)

    用OLEDB方式读取EXCEL的速度是非常快的。但是当Excel数据量很大时。会非常占用内存,当内存不够时会抛出内存溢出的异常。 

    OLEDB方式将Excel作为一个数据源,直接用Sql语句操作数据,并且不需要安装Office Excel就可以使用。但缺点是不能灵活操作Excel,例如设置字体,单元格格式等。

一、读取Excel

连接字符串的设置:读取“.xls”时使用"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + pathName + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=1;'"  读取“.xlsx”时使用 "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + pathName + ";Extended Properties='Excel 12.0;HDR=Yes;IMEX=1;'"

  其中HDR和IMEX的设置:

      HDR=Yes,这代表第一行是标题,不做为数据使用,系统默认的是YES

     当 IMEX=0 时为“汇出模式”,这个模式开启的 Excel 档案只能用来做“写入”用途。               0 ---输出模式;
     当 IMEX=1 时为“汇入模式”,这个模式开启的 Excel 档案只能用来做“读取”用途。               1---输入模式;

     当 IMEX=2 时为“链接模式”,这个模式开启的 Excel 档案可同时支持“读取”与“写入”用途。2----链接模式(完全更新能力)

  GetOleDbSchemaTable:GetOleDbSchemaTable 的第一个参数是架构参数,它是一个 OleDbSchemaGuid 类型的标识,指定了要返回的架构信息的类型(如表、列和主键)。例如:System.Data.OleDb.OleDbSchemaGuid.Tables

第二个参数是一个限制对象数组,对 DataTable 架构中返回的行进行过滤(例如,您可以指定对表的名称、类型、所有者和/或架构的限制)。制数组如下所示:{TABLE_CATALOG, TABLE_SCHEMA, TABLE_NAME, TABLE_TYPE}。  例如:new object[] { null, null, "Sheet1$", null }

下面贴上代码

    1、获取Excel的工作表名集合
       /// 
       /// C#中获取Excel文件的表名 
       /// 
       /// 路径名
       /// 
       public static List GetExcelTableName(string pathName)
       {
           List tableName = new List();
           if (File.Exists(pathName))
           {
               string strConn = string.Empty;
               FileInfo file = new FileInfo(pathName);
               string extension = file.Extension;
               switch (extension)
               {
                   case ".xls":
                       strConn = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + pathName + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=1;'";
                       break;
                   case ".xlsx":
                       strConn = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + pathName + ";Extended Properties='Excel 12.0;HDR=Yes;IMEX=1;'";
                       break;
                   default:
                       strConn = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + pathName + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=1;'";
                       break;
               }
               using (System.Data.OleDb.OleDbConnection conn = new System.Data.OleDb.OleDbConnection(strConn))
               {
                   conn.Open();
                   System.Data.DataTable dt = conn.GetOleDbSchemaTable(System.Data.OleDb.OleDbSchemaGuid.Tables, null);
                   foreach (System.Data.DataRow row in dt.Rows)
                   {
                       string strSheetTableName = row["TABLE_NAME"].ToString();
                       //过滤无效SheetName   
                       if (strSheetTableName.Contains("$") && strSheetTableName.Replace("'", "").EndsWith("$"))
                       {
                           strSheetTableName = strSheetTableName.Replace("'", "");   //可能会有 '1X$' 出现
                           strSheetTableName = strSheetTableName.Substring(0, strSheetTableName.Length - 1);
                           tableName.Add(strSheetTableName);
                       }
                   }
               }
           }
           return tableName;
       }

2、  获取EXCEL工作表的列名 返回list集合

       /// 
       /// 获取EXCEL工作表的列名 返回list集合
       /// 
       /// Excel路径名
       /// 
       public static List getExcelFileInfo(string pathName)
       {
           string strConn;
           List lstColumnName = new List();
           FileInfo file = new FileInfo(pathName);
           if (!file.Exists) { throw new Exception("文件不存在"); }
           string extension = file.Extension;
           switch (extension)
           {
               case ".xls":
                   strConn = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + pathName + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=2;'";
                   break;
               case ".xlsx":
                   strConn = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + pathName + ";Extended Properties='Excel 12.0;HDR=Yes;IMEX=2;'";
                   break;
               default:
                   strConn = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + pathName + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=1;'";
                   break;
           }
           System.Data.OleDb.OleDbConnection conn = new System.Data.OleDb.OleDbConnection(strConn);
           conn.Open();
           System.Data.DataTable table = conn.GetOleDbSchemaTable(System.Data.OleDb.OleDbSchemaGuid.Tables, new object[] { null, null, null, null });

           foreach (System.Data.DataRow drow in table.Rows)
           {
               string TableName = drow["Table_Name"].ToString();
               if (TableName.Contains("$") && TableName.Replace("'", "").EndsWith("$"))
               {
                   System.Data.DataTable tableColumns = conn.GetOleDbSchemaTable(System.Data.OleDb.OleDbSchemaGuid.Columns, new object[] { null, null, TableName, null });
                   foreach (System.Data.DataRow drowColumns in tableColumns.Rows)
                   {
                       string ColumnName = drowColumns["Column_Name"].ToString();
                       lstColumnName.Add(ColumnName);
                   }
               }
           }
           return lstColumnName;
       }
3、OLEDB方式读取Excel,返回DataTable
       在实际应用中碰到了问题。某一列的前几十行全是数字,而在中间混杂了文字,结果读取的时候没有读取到,为空白。后来查找资料发现原来OLEDB会根据表中数据的前8行来决定该列的类型。问题解决:我把HDR设置为no,把原来的列名认为是普通数据,这样只要保证列名不为纯数字就行了,最后再重新组织以下列名就好了。或者直接在Excel中把单元格设置为 文本。
       /// 
       /// OLEDB方式读取Excel
       /// 
       /// Excel路径
       /// 工作表名,默认读取第一个有数据的工作表(至少有2列数据)
       /// 
       public static System.Data.DataTable DBExcelToDataTable(string pathName,string sheetName="")
       {
           System.Data.DataTable dt = new System.Data.DataTable();
           string ConnectionString = string.Empty;
           FileInfo file = new FileInfo(pathName);
           if (!file.Exists) { throw new Exception("文件不存在"); }
           string extension = file.Extension;
           switch (extension)                          // 连接字符串
           {
               case ".xls":
                   ConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + pathName + ";Extended Properties='Excel 8.0;HDR=no;IMEX=1;'";
                   break;
               case ".xlsx":
                   ConnectionString = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + pathName + ";Extended Properties='Excel 12.0;HDR=no;IMEX=1;'";
                   break;
               default:
                   ConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + pathName + ";Extended Properties='Excel 8.0;HDR=no;IMEX=1;'";
                   break;
           }
           System.Data.OleDb.OleDbConnection con = new System.Data.OleDb.OleDbConnection(ConnectionString);
           try
           {
               con.Open();
               if (sheetName != "")                      //若指定了工作表名
               {      //读Excel的过程中,发现dt末尾有些行是空的,所以在sql语句中加了Where 条件筛选符合要求的数据。OLEDB会自动生成列名F1,F2……Fn  
                   System.Data.OleDb.OleDbCommand cmd = new System.Data.OleDb.OleDbCommand("select * from [" + sheetName + "$] where F1 is not null ", con);
                   System.Data.OleDb.OleDbDataAdapter apt = new System.Data.OleDb.OleDbDataAdapter(cmd);
                   try
                   {
                       apt.Fill(dt);
                   }
                   catch(Exception ex) { throw new Exception("该Excel文件中未找到指定工作表名," + ex.Message); }
                   dt.TableName = sheetName;
               }
               else
               {
                   //默认读取第一个有数据的工作表
                   var tables = con.GetOleDbSchemaTable(System.Data.OleDb.OleDbSchemaGuid.Tables, new object[] { });
                   if (tables.Rows.Count == 0)
                   { throw new Exception("Excel必须包含一个表"); }
                   foreach (System.Data.DataRow row in tables.Rows)
                   {
                       string strSheetTableName = row["TABLE_NAME"].ToString();
                       //过滤无效SheetName   
                       if (strSheetTableName.Contains("$") && strSheetTableName.Replace("'", "").EndsWith("$"))
                       {
                           System.Data.DataTable tableColumns = con.GetOleDbSchemaTable(System.Data.OleDb.OleDbSchemaGuid.Columns, new object[] { null, null, strSheetTableName, null });
                           if (tableColumns.Rows.Count < 2)                     //工作表列数
                               continue;
                           System.Data.OleDb.OleDbCommand cmd = new System.Data.OleDb.OleDbCommand("select * from [" + strSheetTableName + "] where F1 is not null", con);
                           System.Data.OleDb.OleDbDataAdapter apt = new System.Data.OleDb.OleDbDataAdapter(cmd);
                           apt.Fill(dt);
                           dt.TableName = strSheetTableName.Replace("$", "").Replace("'", "");
                           break;
                       }
                   }
               }
               if (dt.Rows.Count < 2)
                   throw new Exception("表必须包含数据");        
               //重构字段名
               System.Data.DataRow headRow = dt.Rows[0];
               foreach (System.Data.DataColumn c in dt.Columns)
               {
                   string headValue = (headRow[c.ColumnName] == DBNull.Value || headRow[c.ColumnName] == null) ? "" : headRow[c.ColumnName].ToString().Trim();
                   if (headValue.Length == 0)
                   { throw new Exception("必须输入列标题"); }
                   if (dt.Columns.Contains(headValue))
                   { throw new Exception("不能用重复的列标题:" + headValue); }
                   c.ColumnName = headValue;
               }
               dt.Rows.RemoveAt(0);                  
               return dt;             
           }
           catch (Exception ee)
           { throw ee; }
           finally
           { con.Close(); }
       }
测试读了24000行23列的Excel,耗费第一次3501毫秒,第二次2721,第三次2774……

一、写入EXCEL

         向Excel中写入数据的情况下,就要使用insert语句直接向Excel中输入了,当然是用update更新,delete删除也行。
        起先在OLEDB连接Excel的扩展属性中我都用的HDR=Yes;IMEX=2。实际运行起来时发现在写入Office 97-2003时没问题,但是在操作Office 2007,却出现了"不能修改表“Sheet1”的设计。它在只读数据库中。"之后把IMEX设置为0,或者直接不加HDR和IMEX后居然都可以运行了。
       /// 
       /// OLEDB方式导出DataTable
       /// 
       /// 路径
       /// DataTable
       public static void DTToExcel(string Path, System.Data.DataTable dt)
       {
           string strCon = string.Empty;
           FileInfo file = new FileInfo(Path);
           string extension = file.Extension;
           switch (extension)
           {
               case ".xls":
                   strCon = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Path + ";Extended Properties=Excel 8.0;";
                   //strCon = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Path + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=0;'";
                   //strCon = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Path + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=2;'";
                   break;
               case ".xlsx":
                   //strCon = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + Path + ";Extended Properties=Excel 12.0;";
                   //strCon = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + Path + ";Extended Properties='Excel 12.0;HDR=Yes;IMEX=2;'";    //出现错误了
                   strCon = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + Path + ";Extended Properties='Excel 12.0;HDR=Yes;IMEX=0;'"; 
                   break;
               default:
                   strCon = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Path + ";Extended Properties='Excel 8.0;HDR=Yes;IMEX=0;'";
                   break;
           }
           try
           {
               using (System.Data.OleDb.OleDbConnection con = new System.Data.OleDb.OleDbConnection(strCon))
               {
                   con.Open();
                   StringBuilder strSQL = new StringBuilder();
                   System.Data.OleDb.OleDbCommand cmd;
                   try
                   {
                       cmd = new System.Data.OleDb.OleDbCommand(string.Format("drop table {0}", dt.TableName), con);    //覆盖文件时可能会出现Table 'Sheet1' already exists.所以这里先删除了一下
                        cmd.ExecuteNonQuery();
                   }
                   catch { }                                                                        
                   //创建表格字段
                   strSQL.Append("CREATE TABLE ").Append("[" + dt.TableName + "]");  
                   strSQL.Append("(");
                   for (int i = 0; i < dt.Columns.Count; i++)
                   {
                       strSQL.Append("[" + dt.Columns[i].ColumnName + "] text,");
                   }
                   strSQL = strSQL.Remove(strSQL.Length - 1, 1);
                   strSQL.Append(")");

                   cmd = new System.Data.OleDb.OleDbCommand(strSQL.ToString(), con);
                   cmd.ExecuteNonQuery();
                   //添加数据
                   for (int i = 0; i < dt.Rows.Count; i++)
                   {
                       strSQL.Clear();
                       StringBuilder strvalue = new StringBuilder();
                       for (int j = 0; j < dt.Columns.Count; j++)
                       {
                           strvalue.Append("'" + dt.Rows[i][j].ToString() + "'");
                           if (j != dt.Columns.Count - 1)
                           {
                               strvalue.Append(",");
                           }
                           else
                           {
                           }
                       }  
                       cmd.CommandText = strSQL.Append(" insert into [" + dt.TableName + "] values (").Append(strvalue).Append(")").ToString();
                       cmd.ExecuteNonQuery();
                   }
                   con.Close();
               }
           }
           catch { }
       }
测试将24000行23列的DataTable写入Excel平均要00:02:40.1184609,2分40秒。还有就是不能在Excel里设置样式。
   由于上段时间要解析数据,就从网上收集整理了这些方法,写在这里。方便以后还能用到
                                                          


      

你可能感兴趣的:(C#)