实战:导入31万多条数据耗时6分多,有待改进

前言:自己开发的工具,实测导入多个Excel表格数据(每个Excel文件有2万条数据,共16个excel文件,31万多条记录,文件总大小176MB)

1)实测一:只是打开这16个文件获取记录总数,看耗时

实战:导入31万多条数据耗时6分多,有待改进_第1张图片

总结:需要9.8秒才能打开这176MB的excel文件

2)将excel内容进行分析,并按字段类型生成sql语句,插入到数据,看看耗时

经过缓慢的进度执行,漫长的等待后,终于有了结果,成功导入31.7万多条数据,用时375秒

实战:导入31万多条数据耗时6分多,有待改进_第2张图片

总结:初步估算下来1秒插入1000条数据左右,这实在太慢了,后期要花大力气进行改进

你可能感兴趣的:(python,flask,flask,python)