应用升级冷启动场景下的数据导入和导出
项目中遇到一个比较棘手的问题，之前的应用是没有migrate相关功能的。从下一个版本起，需要实现应用的数据库自动升级。采用的是Flask-Migrate插件。但是要做migrate的前提是有之前的数据库版本文件支撑。
最理想的情况是没有什么用户数据，简单粗暴的强制用户重新安装并且重新建立新的数据库，这样以后都可以直接调用migrate的相关命令进行升级。这种做法显然不是很负责的，虽然真的很想这么干。所以！作为一个负责人的程序员！必须解决这样的让人头大的，冷启动问题。
第一种方案，给用户下发migrate版本文件，用户没有初始版本，那我们可以在更新包内给用户一个！貌似很完美的解决了这个问题。但是！用户使用的版本，也许大概可能绝对不会只有一个...下发哪个版本的脚本文件？所以该方案不完美。
第二种方案，根据数据库和普遍orm的特征，当模型字段少于数据库字段时，正常的数据库操作不受影响。所以，我们可以在做本次升级之前，保留用户的全部数据。升级创建新的数据库和数据表，再将旧的数据全部导入。但是！有个问题就是，当orm的字段多于数据库时，所有的orm操作都会受到影响。假如只支持单数据库，那么可以通过数据库的dumps或者类似命令去直接解决，假如支持用户自行设定数据库，这个问题则比较麻烦。好在问题停留在了代码层，总归是可以解决。Ok，代码这么搞。
from flask_script import Manager
from xxx import session_maker, db
import json, os
from datetime import datetime
from sqlalchemy.exc import ProgrammingError, OperationalError
from modules.database import models
from xxxx import g_init_cfg
def get_rows(model, columns=None):
"""
获取数据行
:param model: 模型类
:param columns: 需要获取的列。因为代码model的字段可能多于数据库表，所以此处的列需要动态剔除不支持的列。
:return: 组装成字典的数据
"""
def inner(model, columns):
"""
内部递归方法，因数据库机制，每次抛错只抛出一个错误，所以需要递归检查并剔除检查出的列。直到剩余的column与数据库表完全兼容。
:param model: 模型类
:param columns: 需要获取的列
:return: 数据库数据的元组列表和最终剩余的有效columns
"""
with session_maker() as session:
if not columns:
''' 当columns为空时，默认获取模型内所有的字段 '''
columns = list(model.__mapper__.column_attrs)
try:
''' 将字段类型转化为SqlAlchemy支持的类型，并尝试获取数据 '''
fields = [getattr(model, column.key) for column in columns]
rows = session.query(*fields).all()
except (ProgrammingError, OperationalError) as e:
''' 因为各数据库的错误提示不同，根据不同的数据库引擎分别处理不同的错误信息 '''
engine = g_init_cfg.getEngine()
if engine == 'sqlserver':
if 'Invalid column name' in e.args[0]:
''' 当提示某字段不存在或者不支持，则记录并从columns内剔除该字段 '''
column_name = e.args[0].split('\'')[1]
elif 'Invalid object name' in e.args[0]:
''' 当提示当前模型没有对应数据表，则直接返回空，无需处理 '''
return [], columns
elif engine == 'postgresql':
if 'does not exist' in e.orig.diag.message_primary and 'relation' not in e.orig.diag.message_primary:
column_name = e.orig.diag.message_primary.split('.')[1].split()[0]
elif 'does not exist' in e.orig.diag.message_primary and 'relation' in e.orig.diag.message_primary:
return [], columns
elif engine == 'sqlite':
if 'no such column' in e.args[0]:
column_name = e.args[0].split('.')[2]
elif 'no such table' in e.args[0]:
return [], columns
for i, column in enumerate(columns):
if column.key == column_name:
''' 剔除不支持的字段 '''
columns.pop(i)
''' 因为上文已经出现过报错，在某些数据库的引擎中，如postgres的引擎会将execute指令认为是事务，导致之后所有操作均不执行
此处直接关闭session，再递归进下一步时重新创建'''
session.close()
''' 递归入口 '''
rows, columns = inner(model, columns)
return rows, columns
rows, columns = inner(model, columns)
if rows:
''' 拼装返回的数据为列表 '''
li = []
for row in rows:
mo = dict()
for idx, field in enumerate(list(row)):
if isinstance(field, datetime):
field = field.strftime('%Y-%m-%d %H:%M:%S')
mo[columns[idx].key] = field
li.append(mo)
return li
else:
return []
customCommand = Manager(help='Project auxiliary tool.')
@customCommand.option('-d', '--directory', dest='directory', default='',
help=("json script directory (default is "
"'Project home directory')"))
def exports(directory=''):
"""
数据导出 命令
:param directory: 可设定的导出存放路径，默认为当前目录下
:return:
"""
''' 获取所有基于db.Model的子类，即所有模型model '''
models = db.Model.__subclasses__()
result = dict()
for model in models:
result[model.__name__] = get_rows(model)
f = open(directory + 'models.json', 'w')
f.write(json.dumps(result))
f.close()
print('export data to [%s] success!' % directory + 'models.json')
@customCommand.option('-d', '--directory', dest='directory', default='',
help=("json script directory (default is "
"'Project home directory')"))
def imports(directory=''):
"""
数据导入 命令
:param directory: 数据库文件的存放路径，默认为当前目录下
:return:
"""
os.path.exists(directory + 'models.json')
f = open(directory + 'models.json', 'r')
mo_data = f.read()
data = json.loads(mo_data)
for table in data.keys():
if data.get(table):
with session_maker() as session:
instance_li = []
for value in data[table]:
instance = getattr(models, table)(**value)
instance_li.append(instance)
session.add_all(instance_li)
print('import data success!')注释齐全。以上。