python 数据库同步_python实现不同数据库间数据同步功能

功能描述

数据库间数据同步方式很多，在上篇博文中有总结。本文是用py程序实现数据同步。

a数据库中有几十张表，要汇聚到b数据库中，且表结构一致，需要准实时的进行数据同步，用工具实现时对其控制有限且配置较繁琐，故自写程序，可自由设置同步区间，记录自己想要的日志

代码

本代码实现功能简单，采用面向过程，有需求的同学可以自己优化成面向对象方式，在日志这块缺少数据监控，可根据需求增加。主要注意点：

1、数据抽取时采用区间抽取(按时间区间)、流式游标迭代器+fetchone，避免内存消耗

2、在数据插入时采用executemany(list)，加快插入效率

import pymysql

import os

import datetime,time

def update_time(content):

with open(filepathtime, 'w') as f:

f.writelines(content)

def recode_log(content):

with open(filepathlog, 'a') as f:

f.writelines(content)

def transferdata():

#1、获取需要抽取的表，抽取数据的时间点

with open(filepathtime, 'r') as f:

lines = f.readlines() # 读取所有数据

print("需要同步的表信息",lines)

for line in lines:

startdatetime = time.strftime('%y-%m-%d %h:%m:%s',time.localtime(time.time()))

tablename_list =line.split(',')

#print(tablename_list)

#print(tablename_list[-1])

tablename_list[-1] = tablename_list[-1].replace('\n','')

#print(tablename_list)

tablename = tablename_list[0]

updatetime = tablename_list[1]

#print(tablename,updatetime)

#2、抽取此表此时间点的数据，同步

updatetime_s = datetime.datetime.strptime(updatetime, '%y-%m-%d %h:%m:%s')

updatetime_e = (updatetime_s + datetime.timedelta(hours=1)).strftime("%y-%m-%d %h:%m:%s")

#print(updatetime_s)

#print(q_sql)

db = pymysql.connect(host=host_o, port=port_o, user=user_o, passwd=passwd_o, db=db_o)

cursor = db.cursor()

q_sql = "select a,b,c from %s where c >= '%s' &