看MySql如何实现批量操作

前言

    说起MySql，简直没有什么要说的，对它了解的太少了。ITOO5.0数据库要从SQLServer变为Mysql，这才开始真正面对这个数据库。用过之后才发现，Mysql和SQLServer真的是一样一样的，执行sql语句，实现批量操作等等都一样，只不过形式不太一样了而已。

Mysql

    Mysql是一个关系型数据库管理系统，目前属于Oracle公司，是最流行的关系型数据库管理系统，在Web应用方面是最好的RDBMS应用软件之一。Mysql是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度，并提高了灵活性。Mysql所使用的sql语言是用于访问数据库的最常用标准化语言。

批量操作原理

    数据库的批量操作有三种类型，一种是批量插入，一种是批量更新，再一种就是批量导出。虽然是三种类型的操作，但是实现原理都是一样的。

    批量插入是将Excel表转换成DataTable，然后将DataTable导入到数据库，这个过程是通过MySqlBulkLoader来实现的。

    批量更新也一样，是将界面的传过来的JSON数据转换成DataTable，或者直接从界面传回来DataTable（这种传递数据的方式不太安全，建议使用第一种），或者其他数据传输形式转换成DataTable，然后通过MySqlDataAdapter更新到数据库。

    批量导出是将数据库的数据放到DataTable中，再将DataTable转换成CSV格式。

    一般情况下，对数据库的原生操作会封装成一个工具类，SQLServer中有SQLHelper，Mysql中也有MySQLHelper，批量操作也可以放到MySQLHelper中，实现效果一样。

批量插入

/// <summary>
///大批量数据插入,返回成功插入行数
/// </summary>
/// <param name="connectionString">数据库连接字符串</param>
/// <param name="table">数据表</param>
/// <returns>返回成功插入行数</returns>
public static int BulkInsert(string connectionString, DataTable table)
{
    if (string.IsNullOrEmpty(table.TableName)) throw new Exception("请给DataTable的TableName属性附上表名称");
    if (table.Rows.Count == 0) return 0;
    int insertCount = 0;
    string tmpPath = Path.GetTempFileName();
    string csv = DataTableToCsv(table);
    File.WriteAllText(tmpPath, csv);
    using (MySqlConnection conn = new MySqlConnection(connectionString))
    {
        MySqlTransaction tran = null;
        try
        {
            conn.Open();
            tran = conn.BeginTransaction();
            MySqlBulkLoader bulk = new MySqlBulkLoader(conn)
            {
                FieldTerminator = ",",
                FieldQuotationCharacter = '"',
                EscapeCharacter = '"',
                LineTerminator = "\r\n",
                FileName = tmpPath,
                NumberOfLinesToSkip = 0,
                TableName = table.TableName,
            };
            bulk.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());
            insertCount = bulk.Load();
            tran.Commit();
        }
        catch (MySqlException ex)
        {
            if (tran != null) tran.Rollback();
            throw ex;
        }
    }
    File.Delete(tmpPath);
    return insertCount;
}

批量更新

/// <summary>
///使用MySqlDataAdapter批量更新数据
/// </summary>
/// <param name="connectionString">数据库连接字符串</param>
/// <param name="table">数据表</param>
public static void BatchUpdate(string connectionString, DataTable table)
{
    MySqlConnection connection = new MySqlConnection(connectionString);

    MySqlCommand command = connection.CreateCommand();
    command.CommandTimeout = CommandTimeOut;
    command.CommandType = CommandType.Text;
    MySqlDataAdapter adapter = new MySqlDataAdapter(command);
    MySqlCommandBuilder commandBulider = new MySqlCommandBuilder(adapter);
    commandBulider.ConflictOption = ConflictOption.OverwriteChanges;

    MySqlTransaction transaction = null;
    try
    {
        connection.Open();
        transaction = connection.BeginTransaction();
        //设置批量更新的每次处理条数
        adapter.UpdateBatchSize = BatchSize;
        //设置事物
        adapter.SelectCommand.Transaction = transaction;

        if (table.ExtendedProperties["SQL"] != null)
        {
            adapter.SelectCommand.CommandText = table.ExtendedProperties["SQL"].ToString();
        }
        adapter.Update(table);
        transaction.Commit();/////提交事务
    }
    catch (MySqlException ex)
    {
        if (transaction != null) transaction.Rollback();
        throw ex;
    }
    finally
    {
        connection.Close();
        connection.Dispose();
    }
}

批量导出

/// <summary>
///将DataTable转换为标准的CSV
/// </summary>
/// <param name="table">数据表</param>
/// <returns>返回标准的CSV</returns>
private static string DataTableToCsv(DataTable table)
{
    //以半角逗号（即,）作分隔符，列为空也要表达其存在。
    //列内容如存在半角逗号（即,）则用半角引号（即""）将该字段值包含起来。
    //列内容如存在半角引号（即"）则应替换成半角双引号（""）转义，并用半角引号（即""）将该字段值包含起来。
    StringBuilder sb = new StringBuilder();
    DataColumn colum;
    foreach (DataRow row in table.Rows)
    {
        for (int i = 0; i < table.Columns.Count; i++)
        {
            colum = table.Columns[i];
            if (i != 0) sb.Append(",");
            if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
            {
                sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
            }
            else sb.Append(row[colum].ToString());
        }
        sb.AppendLine();
    }

    return sb.ToString();
}

    如果需要MySQLHelper的代码，推荐一篇博客《自用类库整理之SQLHelper和MySQLHelper》，这个里面的MySQLHelper特别全，里面几乎包括了所有的Mysql的原生操作，包括一般Sql语句对表的操作，也有对DataTable的操作，也有对返回的结果集的不同处理。

总结

    有的时候我们说，一个人的学习能力很强，那么强在哪里呢？这个人学习方法很合适。一个很重要的学习方式，还是那句话，当我们遇到所谓的“新东西”的时候，一定不要认为他是陌生的，要相信，以我们当前的基础，足以对它有所认识，那么它就不是“新东西”。去和它找共鸣，这样才能不惧怕，相信自己。