python学习笔记之数据库表的读写操作
一、executemany()函数
建立数据库mariadb_learn，并且在userinfor表里面写入20个用户的账号和密码信息。代码如下
import pymysql
#随机生成20条用户数据; 列表里面嵌套元组;
list_infor = [('user'+str(num),'00000')for num in range(1,21)]
dbconfig = {
'host' :'localhost',
'user' : 'root',
'passwd' : '123456',
'db' :'mariadb_learn'
}
# 1. 连接数据库连接
conn = pymysql.connect(**dbconfig)
# 2. 创建游标， 给数据库发送sql指令
cur = conn.cursor()
try:
insert_sqli = 'insert into userinfor values(%s,%s)'
cur.executemany(insert_sqli,list_infor)
except Exception as Error:
print('sql exrcutemany failed:',Error)
else:
print('sql executeamny success!')
# 4. 提交sql语句， 作用于数据库;
conn.commit()
# 5. 先关闭游标
cur.close()
# 6. 关闭数据库连接
conn.close()输出
sql executeamny success! 
再次使用executemany()函数将前5到15条用户信息的密码更改为123456。
import pymysql
dbconfig = {
'host' :'localhost',
'user' : 'root',
'passwd' : '123456',
'db' :'mariadb_learn'
}
#随机生成20条用户数据; 列表里面嵌套元组;
list_infor = [('user'+str(num),'00000')for num in range(1,21)]
update_infor = [userinfor[0] for userinfor in list_infor[4:15]]
#1.数据库连接
conn = pymysql.connect(**dbconfig)
#2.创建游标,用于给数据库发送sql指令
cur = conn.cursor()
#3.执行sql语句 : 一次性插入多条信息
try:
update_sqli = 'update userinfor set passwd = "13324" where username = %s'
cur.executemany(update_sqli, update_infor)
except Exception as Error:
print('sql update failed',Error)
else:
print('sql update success')
#4 . 提交sql语句,作用于数据库
conn.commit()
#5.关闭游标
cur.close()
#6.关闭数据库
conn.close()输出：
sql update success
二、fetchone()、fetchall()、fetchmany()
当我们使用fetchone()、fetchaall()、fetchmany()三个函数去查看表的内容时、我们表的游标跟随查看的位置进行移动，这一点有点类似于我们文件读写时候的一个指针，这个指针来确定当前读写文件内容的位置。
fetchall()函数用于读取表格的一行，以元组的形式返回当前行的信息，游标进入下一行。
fetchmany()函数用于读取指定的表的行数，以嵌套元组的形式返回，指定行的信息。
fetchall()函数用于读写当前游标所在位置到白结尾的所有行，以嵌套元组的形式返回所有的信息。
scroll(value, mode='relative') #mode的默认值是 'relative' 代表游标相对于当前位置移动value行
#mode也可以取值为'absolute' 代表游标移动到表的第value行 scroll()函数用于读取表内容时移动游标的位置。
import pymysql
dbconfig = {
'host' :'localhost',
'user' : 'root',
'passwd' : '123456',
'db' :'mariadb_learn'
}
# 1. 连接数据库连接
conn = pymysql.connect(**dbconfig)
# 2. 创建游标， 给数据库发送sql指令
cur = conn.cursor()
# 3. 执行sql语句: 查看数据
cur.execute('select * from userinfor;')
print(cur.fetchone())
print(cur.fetchone())
print(cur.fetchmany(5))
cur.scroll(0,'absolute')
print(cur.fetchall())
cur.close()
conn.close()输出：
('user1', '00000')
('user2', '00000')
(('user3', '00000'), ('user4', '00000'), ('user5', '13324'), ('user6', '13324'), ('user7', '13324'))
(('user1', '00000'), ('user2', '00000'), ('user3', '00000'), ('user4', '00000'), ('user5', '13324'), ('user6', '13324'), ('user7', '13324'), ('user8', '13324'), ('user9', '13324'), ('user10', '13324'), ('user11', '13324'), ('user12', '13324'), ('user13', '13324'), ('user14', '13324'), ('user15', '13324'), ('user16', '00000'), ('user17', '00000'), ('user18', '00000'), ('user19', '00000'), ('user20', '00000'))
三、练习
读取userinfor表中的内容将其写到指定的文件中import pymysql
dbconfig = {
'host' :'localhost',
'user' : 'root',
'passwd' : '123456',
'db' :'mariadb_learn'
}
# 1. 连接数据库连接
conn = pymysql.connect(**dbconfig)
# 2. 创建游标， 给数据库发送sql指令
cur = conn.cursor()
# 3. 执行sql语句: 查看数据
cur.execute('select * from userinfor;')
try:
with open('/tmp/userinfor','w') as file_it:
for row_infor in cur.fetchall():
file_it.write(':'.join(row_infor)+'\n')
except Exception as Error:
print(Error)
else:
print("success")
finally:
cur.close()
conn.close()
四、description属性
description用于获取表头信息，将表头信息以嵌套元组的形式返回，类似于数据库中的命名desc
import pymysql
dbconfig = {
'host' :'localhost',
'user' : 'root',
'passwd' : '123456',
'db' :'mariadb_learn'
}
# 1. 连接数据库连接
conn = pymysql.connect(**dbconfig)
# 2. 创建游标， 给数据库发送sql指令
cur = conn.cursor()
# 3. 执行sql语句: 查看数据
cur.execute('select * from userinfor;')
print(cur.description)
cur.close()
conn.close()输出：
(('username', 253, None, 10, 10, 0, True), ('passwd', 253, None, 10, 10, 0, True))五、对数据库使用with上下文管理器
conn = pymysql.connect( 'host' ='localhost',
'user' = 'root',
'passwd' = '123456',
'db' ='mariadb_learn')六、存储图片到数据库中。
我们在/tmp/images/下面放了几幅图片，现在需要将该目录下的所有文件后缀为.jpg结尾的图片存入数据库mariadb_learn中的images表中。import pymysql
import os
dbconfig = {
'host': 'localhost',
'user': 'root',
'passwd': '123456',
'db': 'mariadb_learn'}
#第归扫描得到指定文件目录下的所有文件,#所有的.jpg图片的文件名存入列表
def SearchAbsPath(dirname):
dirname = os.path.abspath(dirname)
filenames = list()
for root, dirs, files in os.walk(dirname, topdown=False): # 扫描一层目录
for name in files:
filenames.append(root + os.path.sep + name) # 每一个文件的绝对路径放入列表
images = [image_file for image_file in filenames if image_file.endswith('.jpg')]
return images
# 将所有的图片存入到数据库中
def insert_images(**kwargs):
# 1. 连接数据库连接
conn = pymysql.connect(**kwargs)
# 2. 创建游标，给数据库发送sql指令
cur = conn.cursor()
def create_connt():
try:
cur.execute('create table images('
'id int primary key auto_increment , '
'imgName varchar(50),'
'imgData mediumblob);')
# id int primary key auto_increment 这一列的表头信息为id 整形数，即图片的id,
# primary key :作为该表的主键, auto_increment : id 可由系统随机生成
# imgName 图片的名字
# imgData mediumblob 存储的图片，imgData 为表头，mediumblob以二进制中等大小文件形式存储。
except Exception as Eorr:
raise Eorr
else:
print('table create sucess!')
create_connt()
try:
insert_sqli = 'insert into images (imgName, imgData) values(%s, %s);'
for images in SearchAbsPath('/tmp/images/'):
file_it = open(images, 'rb')
img_data = file_it.read()
file_it.close()
cur.execute(insert_sqli,(images,img_data))
except Exception as Eorr:
raise Eorr
else:
print("插入图片信息成功!")
finally:
conn.commit()
cur.close()
conn.close()
insert_images(**dbconfig)七、数据库中图片的读取。
import pymysql
import os
def decode(s):
return ''.join([chr(i) for i in [int(b, 2) for b in s.split(' ')]])
dbconfig = {'host' : 'localhost',
'user' : 'root',
'passwd': '123456',
'db' : 'mariadb_learn'}
def DownLoad_Image_from_db(download_dir='/tmp/download/',**kwargs):
"""
:param download_dir: 从数据库中读取的图片的保存到本地的目录
:param kwargs: 数据连接的参数
:return:
"""
conn = pymysql.connect(**kwargs)
cur = conn.cursor()
cur.execute('select * from images')
while True:
# 使用fetchone 可以保证内存不会因为一次性读取的图片内存过大，而导致内存崩溃
row = cur.fetchone()
#row是三个元素的元组分别是id，imgName、imgData
if row != None:
with open(download_dir+os.path.split(row[1])[1],'wb') as fileit_img:
fileit_img.write(row[2])
pass
else:
break
cur.close()
conn.close()
DownLoad_Image_from_db(**dbconfig)八、用户和访问权限的操作。
如果我们拥有所有权限，那么我们可以使用远程登录某台主机上的数据库，比如：
mysql -h 192.168.3.25 -uroot -p123456 以root用户的身份使用密码123456 区远程登录192.168.3.25这台主机的数据库，如果我们登录成功，就会拥有root的全部权限。但是为了数据安全，我们不会让别人去使用root用户的身份去远程连接登陆我们的数据库，经常是创建一些普通用户，然后对该用户的权限进行限制后，交于别人远程登录数据库。
进入数据库中，执行下面语句可以进行用户建立：
#创建一个密码为123456的userone用户，只能在本地对数据库进行访问。
create user userone@localhost identfiend by '123456'
#创建一个密码为123456的userone用户，只能在ip为192.163.3.15的主机上访问我的数据库
create user [email protected] identfied by '123456'
#创建一个密码为123456的userone用户，可以在所有的ip上访问我的数据库。
create user userone@'%' identified by '123456'
#创建无密码的userone用户，可以在所有的ip上访问我的数据库。
create user userone@'%'用户授权
grant <权限> on <数据库>.<表> to <用户>@
#让userone用户在本地连接数据库时，
#对mariadb_learn数据库中的userinfor
#表拥有insert，update、delete、select、create权限
grant (insert,update,delete,select,create) on mariadb_learn.userinfor to userone@localhost;
当我们设定了用户的权限后，需要重读授权表。
flush privileges; #重读用户授权表 how grants for userone@localhost; #查看userone用户的授权表。 revoke delete,update on mariadb_learn.* from userinfor@localhost; #删除用户的指定权限。 drop user userone@localhost #删除userone用户。 九、对数据库进行备份。
数据库备份
· #对mariadb_learn数据库进行备份.
mysqldump -uroot -p mariadb_learn > mariadb_learn.dump
#对mariadb_learn数据库中进行不要数据的备份
mysqldump -uroot -p123456 --no-data mariadb_learn > `date +%Y_%m_%d`_mariadb_learn.dump
对所有的数据库进行备份
mysqldump -uroot -p123456 --all-databases > mariadb_learn.dump数据库依靠备份恢复
#1、新建数据库
mysql -uroot -p123456 create mariadb_learn2 #2、恢复
mysql -uroot -p 123456 mariadb_learn2 < mariadb_learn.dump十、多台mysql主机的远程备份。
import os
import time
from mysqlInfo import mysql_list
BACKUP_DIR = '/mnt/BACKUP/'
if not os.path.exists(BACKUP_DIR):
os.mkdir(BACKUP_DIR)
print("%s create success!" % (BACKUP_DIR))
else:
try:
for host in mysql_list:
# date = os.popen('date +%Y_%m_%d')
shell_sen = "mysqldump -h %s -u%s -p%s %s >%s"
host_ip = host['host']
user = host['user']
passwd = host['passwd']
db = host['db']
backup_filename = BACKUP_DIR + '%s_%s.dump' %(host_ip, db)
print(backup_filename)
print(shell_sen % (host_ip, user, passwd, db, backup_filename))
os.system(shell_sen % (host_ip, user, passwd, db, backup_filename))
print("backup %s host" %(host_ip))
except Exception as e:
print(e)
else:
print('sucess')os.system(str) 是的字符命令在shell环境中进行运行。
十一、银行转账系统的简单实现。
银行转账时，本质就是对数据库中的数据进行加减法，但是当我们在转账的中途突然断电了怎么办，这里就需要用到数据库的执行事务。
事务机制可以保证数据的一致性。
失误应该具有4个属性：原子性、一致性、隔离性、持久性。这四个数次那个通常称为ACID特性。
*原子性（atomicity）。一个事物是一个可分割的工作单位，事物中包括的诸操作要么都做，要么都不做。
*一致性（consistency）。事物必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
*隔离性（isolation）。一个事物的执行不能被其他事物干扰。即一个事物内部的操作及使用的数据对并发的其他事物是隔
离的，并发执行的各个事物之间不能相互干扰
*持久性（durability）。持续性也称为持久性，只一个事务一旦提交，他对数据库中数据的改变就应该是永久性的。接下来
的其他操作或故障不应该对其有任何影响。
Python DB API 2.0 的事务提供了两个方法 commit 或 rollback。
对于支持事务的数据库， 在Python数据库编程中，当游标建立之时，就自动开始了一个隐形的数据库事务。commit()方法游标的所有更新操作，rollback（）方法回滚当前游标的所有操作。每一个方法都开始了一个新的事务。
import pymysql
import sys
class TransferMoney(object):
def __init__(self,conn):
self.conn = conn
def transfer(self,source_acctid,target_asstid,money):
"""
转账函数
:param source_acctid:
:param target_asstid:
:param money:
:return:
"""
try :
self.check_acct_available(source_acctid)
self.check_acct_available(target_asstid)
self.has_enough_money(source_acctid,money)
self.reduce_money(source_acctid,money)
self.add_money(target_asstid,money)
self.conn.commit()
except Exception as Error:
self.conn.rollback() #数据库的方法，撤销前面对数据库的操作
raise (Error)
def check_acct_available(self,acctid):
"""
检查账户是否存在
:param acctid: 需要被检查的账户
:return:
"""
cur = self.conn.cursor() #数据库游标建立
try:
select_sql = 'select * from account where accid = %s;'%(acctid)
cur.execute(select_sql)
print("execute aql :%s"%(select_sql))
res = cur.fetchall()
if len(res) != 1:
raise Exception('账号%s不存在'%(acctid))
except Exception as Error:
raise (Error)
finally:
cur.close()
def has_enough_money(self, acctid, money):
"""
检查账户是否有足够的金钱
:param acctid: 当前账户
:param money: 需要判断的的金额
:return:
"""
cur = self.conn.cursor()
try:
select_sql = 'select money from account where accid = %s'%(acctid)
cur.execute(select_sql)
print('has_enough_money aql:%s'%(select_sql))
res = cur.fetchall()
if res:
now_money = res[0][0]
if now_money < int(money):
raise Exception('账户%s没有足够的钱，目前金额为%s',acctid,money)
except Exception as Error:
raise (Error)
finally:
cur.close()
def reduce_money(self, acctid, money):
"""
对账户的减去指定的金额
:param acctid: 账户
:param money: 减去的金额
:return:
"""
cur = self.conn.cursor()
try:
update_sqli = 'update account set money = money-%s where accid = %s'%(money,acctid)
cur.execute(update_sqli)
print('add_money sql:%s'%(update_sqli))
except Exception as Error:
raise (Error)
finally:
cur.close()
def add_money(self, asstid, money):
"""
指定账户增加相应的钱数
:param asstid: 增加金额的账户
:param money: 增加的金额
:return:
"""
cur = self.conn.cursor()
try:
update_sqli = 'update account set money = money+%s where accid = %s'%(money,asstid)
cur.execute(update_sqli)
print('add_money sql:%s'%(update_sqli))
except Exception as Error:
raise (Error)
finally:
cur.close()
def main():
db_dict ={'host' :'localhost',
'user' : 'root',
'passwd' : '123456',
'db' :'mariadb_learn'}
conn = pymysql.connect(**db_dict)
trans_money = TransferMoney(conn)
source_acctid = sys.argv[1]
target_acctid = sys.argv[2]
money = sys.argv[3]
try :
trans_money.transfer(source_acctid,target_acctid,money)
except Exception as Eorr:
print (Eorr)
finally:
conn.close()
if __name__ == '__main__':
main()数据库中的初始账号和钱数如下：
在shell里面运行该文件上面源代码的文件，并加上参数，即621700账户向621701账户转账500元
两个账户在数据库中的进而已经减少
