Mysql数据库连接池组件封装(Python篇)

以前一直在用Java来开发,数据库连接池等都是有组件封装好的,直接使用即可,最近在尝试Python的学习,碰到了和数据库打交道的问题,和数据库打交道我们都知道,数据库连接池必不可少,不然要么就是程序异常不稳定,要么就是数据库莫名其妙挂了,

本篇博客主要是对数据库操作的简单封装,相当于一个DBHelper操作类

组件

Python中的数据库连接操作所需组件

• pymysql:mysql的Python连接包
• DBUtils:连接池组件
• configparser：配置文件模块
• mysql-connector-python：驱动包

以上模块都是必装组件,使用pip很轻松就安装

开始

组件的封装主要考虑到多种数据库、可配置的情况,因此我们的数据库相关信息不能使用硬编码的方式,需要将数据库放到配置文件中,这样和代码会有一个解耦,也不用频繁更改代码

代码

封装的类主要包含的基础方法：

• 提供查询的方法
• 分页查询的方法
• 插入数据
• 删除数据
• 更新数据
• 批量插入、删除、更新数据

配置文件

将数据库的相关信息写入db.conf配置文件中,配置文件如下：

[master]
# 数据库连接主机
host=192.168.0.212
# 数据库端口号
port=3306
# 用户名
user=root
# 密码
password=123456
# 数据库名称
database=test
# 数据库连接池最大连接数
maxconnections=20
# 数据库连接池最小缓存数
mincached=5
# 数据库连接池最大缓存数
maxcached=10

[local111]
# 数据库连接主机
host=192.168.0.111
# 数据库端口号
port=3306
# 用户名
user=root
# 密码
password=123456
# 数据库名称
database=test
# 数据库连接池最大连接数
maxconnections=20
# 数据库连接池最小缓存数
mincached=5
# 数据库连接池最大缓存数
maxcached=10

数据库的配置可以是多个,我们可以配置多个数据源,然后在代码中方便使用

MySQLConnection

数据库封装类MySQLConnection.py,代码如下：

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
#!@File    :   database.py
#!@Time    :   2019/9/23 21:57
#!@Author  :   xiaoyumin
#!@Version :   1.0
#!@Contact :   [email protected]
#!@License :   Copyright (C) 2018 Zhejiang xiaominfo Technology CO.,LTD.
#!@Desc    :   数据库连接池相关
import pymysql
from DBUtils.PooledDB import PooledDB
import logging
import configparser

# 读取数据库配置信息
config=configparser.ConfigParser()
config.read('../db.conf',encoding='UTF-8')
sections=config.sections()
# 数据库工厂
dbFactory={}
for dbName in sections:
    # 读取相关属性
    maxconnections=config.get(dbName,"maxconnections")
    mincached=config.get(dbName,"mincached")
    maxcached=config.get(dbName,"maxcached")
    host=config.get(dbName,"host")
    port=config.get(dbName,"port")
    user=config.get(dbName,"user")
    password=config.get(dbName,"password")
    database=config.get(dbName,"database")
    databasePooled=PooledDB(creator=pymysql,
                        maxconnections=int(maxconnections),
                        mincached=int(mincached),
                        maxcached=int(maxcached),
                        blocking=True,
                        cursorclass = pymysql.cursors.DictCursor,
                        host=host,
                        port=int(port),
                        user=user,
                        password=password,
                        database=database)
    dbFactory[dbName]=databasePooled

class MySQLConnection(object):
    """
    数据库连接池代理对象
    查询参数主要有两种类型
    第一种：传入元祖类型,例如(12,13),这种方式主要是替代SQL语句中的%s展位符号
    第二种: 传入字典类型,例如{"id":13},此时我们的SQL语句需要使用键来代替展位符,例如：%(name)s
    """
    def __init__(self,dbName="master"):
        self.connect = dbFactory[dbName].connection()
        self.cursor = self.connect.cursor()
        logging.debug("获取数据库连接对象成功,连接池对象:{}".format(str(self.connect)))

    def execute(self,sql,param=None):
        """
        基础更新、插入、删除操作
        :param sql:
        :param param:
        :return: 受影响的行数
        """
        ret=None
        try:
            if param==None:
                ret=self.cursor.execute(sql)
            else:
                ret=self.cursor.execute(sql,param)
        except TypeError as te:
            logging.debug("类型错误")
            logging.exception(te)
        return ret
    def query(self,sql,param=None):
        """
        查询数据库
        :param sql: 查询SQL语句
        :param param: 参数
        :return: 返回集合
        """
        self.cursor.execute(sql,param)
        result=self.cursor.fetchall()
        return result
    def queryOne(self,sql,param=None):
        """
        查询数据返回第一条
        :param sql: 查询SQL语句
        :param param: 参数
        :return: 返回第一条数据的字典
        """
        result=self.query(sql,param)
        if result:
            return result[0]
        else:
            return None
    def listByPage(self,sql,current_page,page_size,param=None):
        """
        分页查询当前表格数据
        :param sql: 查询SQL语句
        :param current_page: 当前页码
        :param page_size: 页码大小
        :param param:参数
        :return:
        """
        countSQL="select count(*) ct from ("+sql+") tmp "
        logging.debug("统计SQL:{}".format(sql))
        countNum=self.count(countSQL,param)
        offset=(current_page-1)*page_size
        totalPage=int(countNum/page_size)
        if countNum % page_size>0:
            totalPage = totalPage + 1
        pagination={"current_page":current_page,"page_size":page_size,"count":countNum,"total_page":totalPage}
        querySql="select * from ("+sql+") tmp limit %s,%s"
        logging.debug("查询SQL:{}".format(querySql))
        # 判断是否有参数
        if param==None:
            # 无参数
            pagination["data"]=self.query(querySql,(offset,page_size))
        else:
            # 有参数的情况,此时需要判断参数是元祖还是字典
            if isinstance(param,dict):
                # 字典的情况,因此需要添加字典
                querySql="select * from ("+sql+") tmp limit %(tmp_offset)s,%(tmp_pageSize)s"
                param["tmp_offset"]=offset
                param["tmp_pageSize"]=page_size
                pagination["data"]=self.query(querySql,param)
            elif isinstance(param,tuple):
                # 元祖的方式
                listtp=list(param)
                listtp.append(offset)
                listtp.append(page_size)
                pagination["data"]=self.query(querySql,tuple(listtp))
            else:
                # 基础类型
                listtp=[]
                listtp.append(param)
                listtp.append(offset)
                listtp.append(page_size)
                pagination["data"]=self.query(querySql,tuple(listtp))
        return pagination
    def count(self,sql,param=None):
        """
        统计当前表记录行数
        :param sql: 统计SQL语句
        :param param: 参数
        :return: 当前记录行
        """
        ret=self.queryOne(sql,param)
        count=None
        if ret:
            for k,v in ret.items():
                count=v
        return count

    def insert(self,sql,param=None):
        """
        数据库插入
        :param sql: SQL语句
        :param param: 参数
        :return: 受影响的行数
        """
        return self.execute(sql,param)
    def update(self,sql,param=None):
        """
        更新操作
        :param sql: SQL语句
        :param param: 参数
        :return: 受影响的行数
        """
        return self.execute(sql,param)
    def delete(self,sql,param=None):
        """
        删除操作
        :param sql: 删除SQL语句
        :param param: 参数
        :return: 受影响的行数
        """
        return self.execute(sql,param)
    def batch(self,sql,param=None):
        """
        批量插入
        :param sql: 插入SQL语句
        :param param: 参数
        :return: 受影响的行数
        """
        return self.cursor.executemany(sql,param)
    def commit(self,param=None):
        """
        提交数据库
        :param param:
        :return:
        """
        if param==None:
            self.connect.commit()
        else:
            self.connect.rollback()

    def close(self):
        """
        关闭数据库连接
        :return:
        """
        if self.cursor:
            self.cursor.close()
        if self.connect:
            self.connect.close()
        logging.debug("释放数据库连接")
        return None

首先我们从配置文件中读取数据库的配置信息,放入dbFactory字典中,一个数据源key对应一个数据库连接池对象

使用

封装好我们的数据库组件后,接下来我们对于数据库的操作就很方便了

注意事项

我们在写SQL语句的时候需要注意我们的参数占位符的使用,注意有两种方式

• %s：该方式你可以理解为任意字符,但是我们在参数传递的时候顺序必须正确,否则就会出现结果不一致的情况
• %(fied)s:这种方式相对友好一些,我们传入的参数可以是字典对象,而不用关心我们的占位参数是否一致

获取不同的数据源连接

我们上面提到过,我们需要的是一个多数据源的情况,那么我们代码中应该如何使用呢?

# 第一种方式,获取默认数据库的连接,在配置文件中配置名称为master的数据库
connect=MySQLConnect()


# 第二种方式,指定key名称获取数据库连接,如下：获取local111的数据库连接
connect=MySQLConnect("local111")

新增数据

新增数据

def insertByIndex():
    """
    使用下标索引的方式插入数据
    """
    sql="insert into user(id,name) values(%s,%s)"
    # 获取数据库连接
    connect=MySQLConnection()
    try:
        # 执行插入动作
        connect.insert(sql,("1","张三"))
        # 提交
        connect.commit()
    except Exception as e:
        logging.exception(e)
    finally:
        # 关闭数据库连接
        connect.close()
        
def insertBatchByIndex():
    """
    使用下标索引的方式批量插入数据
    """
    sql="insert into user(id,name) values(%s,%s)"
    # 获取数据库连接
    connect=MySQLConnection()
    try:
        # 执行批量插入动作
        data=[]
        # 放入的是元祖
        data.append(("1","张三"))
        data.append(("2","张三2"))
        connect.batch(sql,data)
        # 提交
        connect.commit()
    except Exception as e:
        logging.exception(e)
    finally:
        # 关闭数据库连接
        connect.close()

看了以上的方式或许你会觉得麻烦,为什么呢,因为我们在开发的时候一般都是使用字典居多,都是key-value的方式,因此使用索引的方式需要我们再申明一个有顺序的元祖对象,很麻烦

使用字典的方式如下：

def insertByDict():
    """
    使用下标索引的方式插入数据
    """
    sql="insert into user(id,name) values(%(id)s,%(name)s)"
    # 获取数据库连接
    connect=MySQLConnection()
    try:
        # 执行插入动作
        # 此时我们使用的是字典
        connect.insert(sql,{"name":"张三","id":"1"})
        # 提交,必须
        connect.commit()
    except Exception as e:
        logging.exception(e)
    finally:
        # 关闭数据库连接,必须
        connect.close()
        
def insertBatchByDict():
    """
    使用下标索引的方式批量插入数据
    """
    sql="insert into user(id,name) values(%(id)s,%(name)s)"
    # 获取数据库连接
    connect=MySQLConnection()
    try:
        # 执行批量插入动作
        data=[]
        # 放入的是自字典
        data.append({"name":"张三","id":"1"})
        data.append({"name":"张三1","id":"2"})
        connect.batch(sql,data)
        # 提交
        connect.commit()
    except Exception as e:
        logging.exception(e)
    finally:
        # 关闭数据库连接
        connect.close()

以上就是新增的方式,删除和修改同理也差不多.

分页查询数据

比如分页查询的示例：

sql="select id,name,address from restaurant where province=%s "
connect=MySQLConnection()
try:
  	page=1
   	size=500
   	pagination=connect.listByPage(sql,page,size,'浙江省')
except Exception as e:
    logging.exception(e)
finally:
    # 关闭数据库连接
    connect.close()

分页查询返回分页对象,是一个字典对象，主要包含属性：

• current_page:当前页码
• page_size:当前页码大小
• count:当前统计SQL语句的表记录总数
• total_page:当前总页码数
• data:当前的数据集合,是一个字典集合对象

不分页的查询返回的是data集合字典对象，和分页使用方法类似

总结

以上就是一个简单的Python-MySQL数据库连接池组件,该组件同数据库交互过百万次,非常稳定,值得信赖~~!!!

附录

附上相关组件的说明文档：

• https://cito.github.io/DBUtils/
• https://pymysql.readthedocs.io/en/latest/modules/cursors.html