基于DBUtils.PooledDB 实现Python中多线程写入读取数据库 提高执行速度

 python多线程并发操作数据库，会存在链接数据库超时、数据库连接丢失、数据库操作超时等问题

解决方法：使用数据库连接池，并且每次操作都从数据库连接池获取数据库操作句柄，操作完关闭连接返回数据库连接池

如果不使用数据库连接池, 直接使用多线程去操作数据库, 会遇到资源竞争, 争夺cursor游标, Thread对象的Lock和Rlock可以实现简单的线程同步,对cursor进行加锁,但是这个行为,反其道而行。 经测试加锁还不如不用多线程，而且执行速度会比正常慢

用于创建数据库连接池, 具体可以参考一下代码

import pymysql
from DBUtils.PooledDB import PooledDB
import traceback
from threading import Thread


# 基础类
class Base:
    """
    用于连接和关闭
    """

    def __init__(self):
        self.pool = self.create_pool()

    def create_pool(self):
        """
        创建数据库连接池
        :return: 连接池
        """
        pool = PooledDB(creator=pymysql,
                        maxconnections=0,  # 连接池允许的最大连接数，0和None表示不限制连接数
                        mincached=4,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建
                        maxcached=0,  # 链接池中最多闲置的链接，0和None不限制
                        maxusage=1,  # 一个链接最多被重复使用的次数，None表示无限制
                        blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错
                        host='127.0.0.1',  # 此处必须是是127.0.0.1
                        port=3306,
                        user='root',
                        passwd='123456',
                        db='localhost',
                        use_unicode=True,
                        charset='utf8')
        return pool

    def save_mysql(self, sql, args):
        """
        保存数据库
        :param sql: 执行sql语句
        :param args: 添加的sql语句的参数 list[tuple]
        """
        try:
            db = self.pool.connection()  # 连接数据池
            cursor = db.cursor()  # 获取游标
            cursor.executemany(sql, args)
            db.commit()
            cursor.close()
            db.close()
        except:
            traceback.print_exc()

    # 插入数据
    def insertdata(self, insert, data):
        args = [(id, name) for id, name in data if id and name]
        self.save_mysql(insert, args)

  def save_mysql(self, sql, args): 关键就在于这个方法,创建出连接池, 此时多线程每次写入需要连接池子,要从连接池中拿出连接,获取游标进行操作

 下面代码 可以是同一个类, 也可以再你的业务代码中, 具体看个人 简单实现一下伪代码

分别测试了两次数据, 执行速度确实有了很大的提升

@util.fn_timer
def find_all_done(self):
    # 运行时间 0:00:06.695223  运行时间 0:00:10.402396
    insert1 = "INSERT INTO XXX(_id, title) VALUES (%s, %s)"
    # 执行的插入方法
    self.insertdata(insert=insert1, data=result_all_chinese)
    insert2 = "INSERT INTO XXX(_id, title) VALUES (%s, %s)"
    # 执行的插入方法
    self.insertdata(insert=insert2, data=result_non_chinese)
    
    # 执行多线程  运行时间 0:00:01.593220  运行时间 0:00:03.004854
    try:
        insert1 = "INSERT INTO xxx(_id, title) VALUES (%s, %s)"
        insert2 = "INSERT INTO xxx(_id, title) VALUES (%s, %s)"
        
        # target参数是线程运行方法名
        t1 = Thread(target=self.insertdata, args=(insert1, result_all_chinese))
        t2 = Thread(target=self.insertdata, args=(insert2, result_non_chinese))
        t1.start()
        t2.start()
    except:
        traceback.print_exc()