python数据库连接池工具类_Python数据库连接池DBUtils

DBUtils简介

DBUtils是Python的一个用于实现数据库连接池的模块。

此连接池有两种连接模式：

模式一：为每个线程创建一个连接，线程即使调用了close方法，也不会关闭，只是把连接重新放到连接池，供自己线程再次使用。当线程终止时，连接自动关闭。

POOL =PersistentDB(

creator=pymysql, #使用链接数据库的模块

maxusage=None, #一个链接最多被重复使用的次数，None表示无限制

setsession=[], #开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]

ping=0,#ping MySQL服务端，检查是否服务可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always

closeable=False,#如果为False时， conn.close() 实际上被忽略，供下次使用，再线程关闭时，才会自动关闭链接。如果为True时， conn.close()则关闭链接，那么再次调用pool.connection时就会报错，因为已经真的关闭了连接(pool.steady_connection()可以获取一个新的链接)

threadlocal=None, #本线程独享值得对象，用于保存链接对象，如果链接对象被重置

host='127.0.0.1',

port=3306,

user='root',

password='123',

database='pooldb',

charset='utf8')deffunc():

conn= POOL.connection(shareable=False)

cursor=conn.cursor()

cursor.execute('select * from tb1')

result=cursor.fetchall()

cursor.close()

conn.close()

func()

View Code

模式二：创建一批连接到连接池，供所有线程共享使用。

PS：由于pymysql、MySQLdb等threadsafety值为1，所以该模式连接池中的线程会被所有线程共享。

importtimeimportpymysqlimportthreadingfrom DBUtils.PooledDB importPooledDB, SharedDBConnection

POOL=PooledDB(

creator=pymysql, #使用链接数据库的模块

maxconnections=6, #连接池允许的最大连接数，0和None表示不限制连接数

mincached=2, #初始化时，链接池中至少创建的空闲的链接，0表示不创建

maxcached=5, #链接池中最多闲置的链接，0和None不限制

maxshared=3, #链接池中最多共享的链接数量，0和None表示全部共享。PS: 无用，因为pymysql和MySQLdb等模块的 threadsafety都为1，所有值无论设置为多少，_maxcached永远为0，所以永远是所有链接都共享。

blocking=True, #连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错

maxusage=None, #一个链接最多被重复使用的次数，None表示无限制

setsession=[], #开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]

ping=0,#ping MySQL服务端，检查是否服务可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always

host='127.0.0.1',

port=3306,

user='root',

password='123',

database='pooldb',

charset='utf8')deffunc():#检测当前正在运行连接数的是否小于最大链接数，如果不小于则：等待或报raise TooManyConnections异常

#否则

#则优先去初始化时创建的链接中获取链接 SteadyDBConnection。

#然后将SteadyDBConnection对象封装到PooledDedicatedDBConnection中并返回。

#如果最开始创建的链接没有链接，则去创建一个SteadyDBConnection对象，再封装到PooledDedicatedDBConnection中并返回。

#一旦关闭链接后，连接就返回到连接池让后续线程继续使用。

conn =POOL.connection()#print(th, '链接被拿走了', conn1._con)

#print(th, '池子里目前有', pool._idle_cache, '\r\n')

cursor=conn.cursor()

cursor.execute('select * from tb1')

result=cursor.fetchall()

conn.close()

func()

View Code

在flask中使用DBUtils

flask中是没有ORM的，如果在flask里面连接数据库有两种方式

一：pymysql

二：SQLAlchemy

是python 操作数据库的一个库。能够进行 orm 映射官方文档 sqlchemy

SQLAlchemy“采用简单的Python语言，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型”。SQLAlchemy的理念是，SQL数据库的量级和性能重要于对象集合；而对象集合的抽象又重要于表和行。

链接池原理

-BDUtils数据库链接池-模式一：基于threaing.local实现为每一个线程创建一个连接，关闭是

伪关闭，当前线程可以重复-模式二：连接池原理- 可以设置连接池中最大连接数 9

- 默认启动时，连接池中创建连接 5

-如果有三个线程来数据库中获取连接：-如果三个同时来的，一人给一个链接-如果一个一个来，有时间间隔，用一个链接就可以为三个线程提供服务-说不准

有可能:1个链接就可以为三个线程提供服务

有可能:2个链接就可以为三个线程提供服务

有可能:3个链接就可以为三个线程提供服务

PS、：maxshared在使用pymysql中均无用。链接数据库的模块：只有threadsafety>1的时候才有用

那么我们用pymysql来做。

为什么要使用数据库连接池呢？不用连接池有什么不好的地方呢？

方式一、每次操作都要链接数据库，链接次数过多

#!usr/bin/env python#-*- coding:utf-8 -*-

importpymysqlfrom flask importFlask

app= Flask(__name__)#方式一：这种方式每次请求，反复创建数据库链接，多次链接数据库会非常耗时#解决办法：放在全局，单例模式

@app.route('/index')defindex():#链接数据库

conn = pymysql.connect(host="127.0.0.1",port=3306,user='root',password='123', database='pooldb',charset='utf8')

cursor=conn.cursor()

cursor.execute("select * from td where id=%s", [5, ])

result= cursor.fetchall() #获取数据

cursor.close()

conn.close()#关闭链接

print(result)return "执行成功"

if __name__ == '__main__':

app.run(debug=True)

方式二、不支持并发

#!usr/bin/env python#-*- coding:utf-8 -*-

importpymysqlfrom flask importFlaskfrom threading importRLock

app= Flask(__name__)

CONN= pymysql.connect(host="127.0.0.1",port=3306,user='root',password='123', database='pooldb',charset='utf8')#方式二：放在全局，如果是单线程，这样就可以，但是如果是多线程，就得加把锁。这样就成串行的了#不支持并发，也不好。所有我们选择用数据库连接池

@app.route('/index')defindex():

with RLock:

cursor=CONN.cursor()

cursor.execute("select * from td where id=%s", [5, ])

result= cursor.fetchall() #获取数据

cursor.close()print(result)return "执行成功"

if __name__ == '__main__':

app.run(debug=True)

方式三：由于上面两种方案都不完美，所以得把方式一和方式二联合一下(既让减少链接次数，也能支持并发)所有了方式三，需要

导入一个DButils模块

基于DButils实现的数据库连接池有两种模式：

模式一：为每一个线程创建一个链接(是基于本地线程来实现的。thread.local)，每个线程独立使用自己的数据库链接，该线程关闭不是真正的关闭，本线程再次调用时，还是使用的最开始创建的链接，直到线程终止，数据库链接才关闭

注： 模式一：如果线程比较多还是会创建很多连接，模式二更常用

#!usr/bin/env python#-*- coding:utf-8 -*-

from flask importFlask

app= Flask(__name__)from DBUtils.PersistentDB importPersistentDBimportpymysql

POOL=PersistentDB(

creator=pymysql, #使用链接数据库的模块

maxusage=None, #一个链接最多被重复使用的次数，None表示无限制

setsession=[], #开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]

ping=0,#ping MySQL服务端，检查是否服务可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always

closeable=False,#如果为False时， conn.close() 实际上被忽略，供下次使用，再线程关闭时，才会自动关闭链接。如果为True时， conn.close()则关闭链接，那么再次调用pool.connection时就会报错，因为已经真的关闭了连接(pool.steady_connection()可以获取一个新的链接)

threadlocal=None, #本线程独享值得对象，用于保存链接对象，如果链接对象被重置

host='127.0.0.1',

port=3306,

user='root',

password='123',

database='pooldb',

charset='utf8')

@app.route('/func')deffunc():

conn=POOL.connection()

cursor=conn.cursor()

cursor.execute('select * from tb1')

result=cursor.fetchall()

cursor.close()

conn.close()#不是真的关闭，而是假的关闭。 conn = pymysql.connect() conn.close()

conn=POOL.connection()

cursor=conn.cursor()

cursor.execute('select * from tb1')

result=cursor.fetchall()

cursor.close()

conn.close()if __name__ == '__main__': app.run(debug=True)

模式二：创建一个链接池，为所有线程提供连接，使用时来进行获取，使用完毕后在放回到连接池。

PS：假设最大链接数有10个，其实也就是一个列表，当你pop一个，人家会在append一个，链接池的所有的链接都是按照排队的这样的方式来链接的。

链接池里所有的链接都能重复使用，共享的， 即实现了并发，又防止了链接次数太多

importtimeimportpymysqlimportthreadingfrom DBUtils.PooledDB importPooledDB, SharedDBConnection

POOL=PooledDB(

creator=pymysql, #使用链接数据库的模块

maxconnections=6, #连接池允许的最大连接数，0和None表示不限制连接数

mincached=2, #初始化时，链接池中至少创建的空闲的链接，0表示不创建

maxcached=5, #链接池中最多闲置的链接，0和None不限制

maxshared=3, #链接池中最多共享的链接数量，0和None表示全部共享。PS: 无用，因为pymysql和MySQLdb等模块的 threadsafety都为1，所有值无论设置为多少，_maxcached永远为0，所以永远是所有链接都共享。

blocking=True, #连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错

maxusage=None, #一个链接最多被重复使用的次数，None表示无限制

setsession=[], #开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]

ping=0,#ping MySQL服务端，检查是否服务可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always

host='127.0.0.1',

port=3306,

user='root',

password='123',

database='pooldb',

charset='utf8')deffunc():#检测当前正在运行连接数的是否小于最大链接数，如果不小于则：等待或报raise TooManyConnections异常

#否则

#则优先去初始化时创建的链接中获取链接 SteadyDBConnection。

#然后将SteadyDBConnection对象封装到PooledDedicatedDBConnection中并返回。

#如果最开始创建的链接没有链接，则去创建一个SteadyDBConnection对象，再封装到PooledDedicatedDBConnection中并返回。

#一旦关闭链接后，连接就返回到连接池让后续线程继续使用。

#PooledDedicatedDBConnection

conn =POOL.connection()#print(th, '链接被拿走了', conn1._con)

#print(th, '池子里目前有', pool._idle_cache, '\r\n')

cursor=conn.cursor()

cursor.execute('select * from tb1')

result=cursor.fetchall()

conn.close()

conn=POOL.connection()#print(th, '链接被拿走了', conn1._con)

#print(th, '池子里目前有', pool._idle_cache, '\r\n')

cursor=conn.cursor()

cursor.execute('select * from tb1')

result=cursor.fetchall()

conn.close()

func()

使用时我们可以将数据库连接池写到配置文件中

from datetime importtimedeltafrom redis importRedisimportpymysqlfrom DBUtils.PooledDB importPooledDB, SharedDBConnectionclassConfig(object):

DEBUG=True

SECRET_KEY= "umsuldfsdflskjdf"PERMANENT_SESSION_LIFETIME= timedelta(minutes=20)

SESSION_REFRESH_EACH_REQUEST=True

SESSION_TYPE= "redis"PYMYSQL_POOL=PooledDB(

creator=pymysql, #使用链接数据库的模块

maxconnections=6, #连接池允许的最大连接数，0和None表示不限制连接数

mincached=2, #初始化时，链接池中至少创建的空闲的链接，0表示不创建

maxcached=5, #链接池中最多闲置的链接，0和None不限制

maxshared=3,#链接池中最多共享的链接数量，0和None表示全部共享。PS: 无用，因为pymysql和MySQLdb等模块的 threadsafety都为1，所有值无论设置为多少，_maxcached永远为0，所以永远是所有链接都共享。

blocking=True, #连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错

maxusage=None, #一个链接最多被重复使用的次数，None表示无限制

setsession=[], #开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]

ping=0,#ping MySQL服务端，检查是否服务可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always

host='127.0.0.1',

port=3306,

user='root',

password='123456',

database='s8day127db',

charset='utf8')

然后写一个类来帮我们完成pymql的操作

importpymysqlfrom settings importConfigclassSQLHelper(object):

@staticmethoddefopen(cursor):

POOL=Config.PYMYSQL_POOL

conn=POOL.connection()

cursor= conn.cursor(cursor=cursor)returnconn,cursor

@staticmethoddefclose(conn,cursor):

conn.commit()

cursor.close()

conn.close()

@classmethoddef fetch_one(cls,sql,args,cursor =pymysql.cursors.DictCursor):

conn,cursor=cls.open(cursor)

cursor.execute(sql, args)

obj=cursor.fetchone()

cls.close(conn,cursor)returnobj

@classmethoddef fetch_all(cls,sql, args,cursor =pymysql.cursors.DictCursor):

conn, cursor=cls.open(cursor)

cursor.execute(sql, args)

obj=cursor.fetchall()

cls.close(conn, cursor)return obj

然后在视图函数中就可以使用这个类来进行数据库操作了

obj = SQLHelper.fetch_one('select id from users where name=%s',[field.data,])

小知识

1、子类继承父类的三种方式

class Dog(Animal): #子类 派生类

def __init__(self,name,breed, life_value,aggr):#Animal.__init__(self,name,breed, life_value,aggr)#让子类执行父类的方法 就是父类名.方法名(参数)，连self都得传

super().__init__(name,life_value,aggr) #super关键字 ，都不用传self了，在新式类里的

#super(Dog,self).__init__(name,life_value,aggr) #上面super是简写

self.breed =breeddef bite(self,person): #狗的派生方法

person.life_value -=self.aggrdef eat(self): #父类方法的重写

super().eat()print('dog is eating')

2、对象通过索引设置值的三种方式

方式一：重写__setitem__方法

classFoo(object):def __setitem__(self, key, value):print(key,value)

obj=Foo()

obj["xxx"] = 123 #给对象赋值就会去执行__setitem__方法

方式二：继承dict

classFoo(dict):passobj=Foo()

obj["xxx"] = 123

print(obj)

方式三：继承dict,重写__init__方法的时候，记得要继承父类的__init__方法

classFoo(dict):def __init__(self,val):#dict.__init__(self, val)#继承父类方式一

#super().__init__(val) #继承父类方式二

super(Foo,self).__init__(val)#继承父类方式三

obj = Foo({"xxx":123})print(obj)

总结：如果遇到obj["xxx"] = xx  ,

- 重写了__setitem__方法

- 继承dict

3、测试__name__方法

示例：

app1中：importapp2print('app1', __name__)

app2中：print('app2', __name__)

现在app1是主程序，运行结果截图

总结：如果是在自己的模块中运行，__name__就是__main__，如果是从别的文件中导入进来的，就不是__name__了

flask配置文件的几种使用方式

==========方式一：============app.config['SESSION_COOKIE_NAME'] = 'session_lvning' #这种方式要把所有的配置都放在一个文件夹里面，看起来会比较乱，所以选择下面的方式

==========方式二：==============app.config.from_pyfile('settings.py') #找到配置文件路径，创建一个模块，打开文件，并获取所有的内容，再将配置文件中的所有值，都封装到上一步创建的配置文件模板中

print(app.config.get("CCC"))=========方式三：对象的方式============

importos

os.environ['FLAKS-SETTINGS'] = 'settings.py'app.config.from_envvar('FLAKS-SETTINGS')===============方式四(推荐)：字符串的方式，方便操作，不用去改配置，直接改变字符串就行了 ==============app.config.from_object('settings.DevConfig')----------settings.DevConfig----------

from app importappclassBaseConfig(object):

NNN= 123 #注意是大写

SESSION_COOKIE_NAME = "session_sss"

classTestConfig(BaseConfig):

DB= "127.0.0.1"

classDevConfig(BaseConfig):

DB= "52.5.7.5"

classProConfig(BaseConfig):

DB= "55.4.22.4"

要想在视图函数中获取配置文件的值，都是通过app.config来拿。但是如果视图函数和Flask创建的对象app不在一个模块。就得

导入来拿。可以不用导入，。直接导入一个current_app，这个就是当前的app对象，用current_app.config就能查看到了当前app的所有的配置文件

from flask importFlask,current_app

@app.route('/index',methods=["GET","POST"])defindex():print(current_app.config) #当前的app的所有配置

session["xx"] = "fdvbn"

return "index"