python实现myql表字段自适应并发插入1000万条数据

进行大数据开发时，我们常常需要造数据去进行性能验证，本文我们将介绍两种方法往mysql中插入1000万条随机数据（可以自己指定数据量），两个方法均可以达到目的，其中方法一为顺序执行，耗时较长；方法二为并发插入，耗时短，同样插入1000万条数据，在8核情况下，方法二耗时约为方法一的1/2。

我们以下面库表结构为例：

# 创建mysql数据库
CREATE DATABASE IF NOT EXISTS test_db;
 
# 创建表
USE test_db;
CREATE TABLE `alex_datagen2mysql` (
  `param_a` int not null,
  `param_b` int not null,
  `param_d` int not null,
  `param_e` int not null,
  `param_f` int not null
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

方法一：顺序（循环）插入

# -*- coding: utf-8 -*-
import datetime
import random
import pymysql

global db


def mysql_connect(database, table, host='localhost', user='root', password='12345