简单实现pymysql批量写入数据方法

1、批量写入数据的方法

在日常处理数据的过程中，我们都有批量写入数据库的需求，使用pythonpymysql向mysql插入大量数据时，我们一般使用有两种方法：

• 1、for + cursor.execute(sql)，最后提交（commit()）
• 2、cursor.executemany(sql,list)

两种方法效率上和功能上有一定差异。20W条数据，使用第一种方法需要约1.5小时，使用第二种方法只需要10几秒，今天就记录一下使用executemany批量写入的简单方法。

2、cursor.executemany函数介绍

• executemany()方法用于执行一条 SQL 语句，该 SQL 语句会执行多次，以实现一次操作多个数据，从而提高SQL的执行效率。
• 和execute()方法不同的是，executemany()方法要求传入的参数是元组嵌套的列表，列表中每个元组代表一组数据，而元组中的每个值则代表一个数据的字段值。
• 简而言之，就是executemany()方法实现了批量插入数据，可以使操作更加高效。

3、批量写入数据实现代码

import pymysql
# 连接数据库
conn = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='myDB')
# 创建游标对象
cursor = conn.cursor()
# 定义 SQL 语句
insert_sql = "INSERT INTO person VALUES (%s, %s, %s)"

# 定义数据
data = [
    ('1', '张三', 18),
    ('2', '李四', 19),
    ('3', '王五', 20)
]
# 批量插入数据
cursor.executemany(insert_sql, data)
# 提交
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()

如上，批量插入数据，就是这么优雅而简单。

关键，还很高效！！！

4、注意事项

• 如果插入值，包含null,则不必把null写入元组，在定义的时候写好，如：

# 定义 SQL 语句
insert_sql = "INSERT INTO person VALUES (null,%s, %s, %s)"

• 批量删除
  举一反三，用法一样：

# 定义 SQL 语句
delete_sql = "DELETE FROM  WHERE id = %s"
# 定义数据
ids = [(1,), (2,), (3,)]
# 批量删除数据
cursor.executemany(delete_sql, ids)