本篇文章主要基于python3.6与pandas实现以下数据库操作功能：
- 创建数据库
- 数据库创建表
- 数据库批量插入数据
- 数据库更新数据
数据库配置
class sqlConfig:
db_name = "test_db" # 数据库名
db_user = "root" # 用户名
db_host = "localhost" # IP地址
db_port = 3306 # 端口号
db_passwd = "1202" # 密码
数据库连
2种连接方式
- 通过MySQLdb连接
def sql_con(self):
# 打开数据库连接，此方法指定数据库
conn = MySQLdb.connect(
host=sqlConfig.db_host,
user=sqlConfig.db_user,
passwd=sqlConfig.db_passwd,
db=sqlConfig.db_name,
charset="utf8"
)
return conn
def sql_con_without_database_name(self):
# 打开数据库连接，不指定数据库。需要重新创建数据库的时候用这个
conn = MySQLdb.connect(
host=sqlConfig.db_host,
user=sqlConfig.db_user,
passwd=sqlConfig.db_passwd,
charset="utf8"
)
return conn
- 通过sqlalchemy模块
from sqlalchemy import create_engine
# 初始化数据库连接，使用pymysql模块
db_info = {
'user': sqlConfig.db_user,
'password': sqlConfig.db_passwd,
'host': sqlConfig.db_host,
'port': sqlConfig.db_port,
'database': sqlConfig.db_name
}
engine = create_engine(
'mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info,
encoding='utf-8'
)
创建数据库
def create_database(self, database_name):
# 先创建连接
conn = self.sql_con_without_database_name()
cursor = conn.cursor()
create_database_str = 'CREATE DATABASE %s;' % database_name
cursor.execute(create_database_str)
# 断开连接
cursor.close()
conn.close()
创建表
def create_table(self, create_table_str):
# # mysql 创建表语言，表结构实例
# create_table_str = '''create table student(
# id int,
# name char(16),
# born_year year,
# birth date,
# class_time time,
# reg_time datetime
# );
# '''
# 先创建连接
conn = self.sql_con()
cursor = conn.cursor()
cursor.execute(create_table_str)
# 断开连接
cursor.close()
conn.close()
插入数据
- 此方法通过调用dataframe.to_sql函数实现，但是该功能是以表为单位进行数据追加或者替换整张表。不能实现替换数据中已存在部分、插入未存在的数据的功能。
def insert_data_by_pandas(self, dataframe, table_name, if_exists='append'):
'''
通过dataframe 向 sql 中插入表，此方法缺点是若表已存在，不能替换表中部分重复数据，只能替换/追加整张表
:param dataframe: pd.Dataframe类型
:param table_name: 插入的表名
:param if_exists: {'fail', 'replace', 'append'}, default 'fail'
- fail: If table exists, do nothing.
- replace: If table exists, drop it, recreate it, and insert data.
- append: If table exists, insert data. Create if does not exist.
:return:
'''
# 初始化数据库连接，使用pymysql模块
db_info = {
'user': sqlConfig.db_user,
'password': sqlConfig.db_passwd,
'host': sqlConfig.db_host,
'port': sqlConfig.db_port,
'database': sqlConfig.db_name
}
engine = create_engine(
'mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info,
encoding='utf-8'
)
dataframe.to_sql(table_name, engine, if_exists=if_exists, index=False, chunksize=100)
- 此方法通过sql插入语句进行批量插入操作。
def insert_data_multi(self, dataframe, table_name):
'''
通过dataframe 向 sql 中批量插入数据
:param dataframe: pd.Dataframe类型
:param table_name: 插入的表名
:return:
'''
# 先创建连接
conn = self.sql_con()
cursor = conn.cursor()
# 获取列名和值
keys = dataframe.keys()
values = dataframe.values.tolist()
key_sql = ','.join(keys)
value_sql = ','.join(['%s'] * dataframe.shape[1])
# 插入语句
insert_data_str = """ insert into %s (%s) values (%s)""" % (table_name, key_sql, value_sql)
# 提交数据库操作
cursor.executemany(insert_data_str, values)
conn.commit()
# 断开连接
cursor.close()
conn.close()
- 对数据进行更新
此方法在插入数据时，若数据已存在，则替换其为新数据，否则追加到数据表中。数据表中必须存在主键或者某一字段属性为“UNIQUE”。
def update_data_multi(self, dataframe, table_name):
'''
通过dataframe 向 sql 中批量插入数据
:param dataframe: pd.Dataframe类型
:param table_name: 插入的表名
:return:
'''
# 先创建连接
conn = self.sql_con()
cursor = conn.cursor()
# 获取列名和值
keys = dataframe.keys()
values = dataframe.values.tolist()
key_sql = ','.join(keys)
value_sql = ','.join(['%s'] * dataframe.shape[1])
# 插入语句，若数据已存在则更新数据
insert_data_str = """ insert into %s (%s) values (%s) ON DUPLICATE KEY UPDATE""" % (table_name, key_sql, value_sql)
update_str = ','.join([" {key} = VALUES({key})".format(key=key) for key in keys])
insert_data_str += update_str
# 提交数据库操作
cursor.executemany(insert_data_str, values)
conn.commit()
# 断开连接
cursor.close()
conn.close()