pandas、openpyxl、xlrd&xlwt&xlutils耗时对比、使用踩坑

一、问题背景:

写数据时因为多加了两个字段,结果程序运行总耗时10s多,简直不能忍。开始分析各阶段耗时,发现写execl就用了10s多,几乎所有耗时都在这。

二、问题解决:

读写execl有三种基本方式:

  pandas、openpyxl、xlrd&xlwt&xlutils

openpyxl、xlrd&xlwt&xlutils的对比

  在自己写的脚本中做了实验,对于读取小文件,openpyxl用时0.009s,xlrd用时0.003s.
当想比较下写入速度时,发现xlrd只能读,不能写,所以要结合xlutils使用。

以下是xlrd&xlwt&xlutils各模块的功能

  xlrd:读取Excel文件数据
  xlwt:写入Excel数据,只能是在新建的表中写入。
  xlutils:xlutils模块的功能是作为xlrd和xlwt的桥梁,解决了xlrd中book对象无法编辑的问题。通过copy模块将xlrd.Book对象转换为 xlwt.Workbook对象,从而实现了原始excel文件的编辑功能

  通过xlrd打开的execl文件不能直接写,需要使用xlutils.copy复制一份工作薄,再获取工作表。get_sheet()可以写int索引,也可写表名。再写入数据的时候直接写到work_book_copy中,并保存。

以下是写入相同数据时,两种方式的比较

数据:

a = {29: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 26: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 27: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 3: {17: 1, 18: '', 19: {'move_status': ['松开']}, 20: 'iOS', 21: '10107'}, 5: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 28: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 7: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 11: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 10: {17: 2, 18: "错误的枚举值:[[338, 'interact_name', 'NPC兑换']];", 19: {}, 20: 'iOS', 21: '10107'}, 13: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 15: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 14: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 12: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 23: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 8: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 2: {17: 1, 18: '', 19: {'user_gender': ['2'], 'is_live': ['1']}, 20: 'iOS', 21: '10107'}, 22: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}, 21: {17: 1, 18: '', 19: {}, 20: 'iOS', 21: '10107'}}

时间比:

openpyxl :  0.13587851s
xlrd&xlwt&xlutils : 0.01033256s

第二种方式比第一种方式减少了约92.4%.

  好,那就进行下一步,将自动下载的execl保存为xls格式的。文件通过urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)函数保存,这个函数可以将URL表示的网络对象复制到本地文件。filename的后缀直接写成.xls的。ok,文件保存到本地确实成了.xls文件。结果发现这样保存并不行,需要打开文件,另存为xls才可以。

高版本的xlrd能不能保留样式呢?答案是:不能。

  低版本的xlrd==1.2.0仅支持.xls格式文件,但是可以使用formatting_info保留文件样式;
  高版本的xlrd可支持.xls和.xlsx格式文件,但是使用formatting_info就会报错。raise NotImplementedError(“formatting_info=True not yet implemented”)。高版本不再支持formatting_info的可能原因就是为了节省内存和时间,只去识别表中有内容的部分。没有内容但是有样式的单元格会被判断为空白。所以想要用xlrd读写execl文件,要不就不要样式,要不就把文件另存为.xls。

pandas:

  pandas和matplotlib、numpy是数据分析的基础模块,广泛用于大数据分析,而大数据往往用csv格式保存(csv行数列数没有上限,execl最大行数1048576,最大列数16384)。另外pandas写入引擎就是openpyxl和xlwt。

  已有的实验显示,通过for循环遍历12000行相同数据时, pandas耗时2.6s,openpyxl耗时0.47s,xlrd耗时0.35s。所以,对于埋点工具来说,pandas没啥优势。

总结:

  xlrd读取速度优于openpyxl,低版本xlrd对读取xlsx会出现版本不兼容的问题,它的功能没有openpyxl全面,大部分情况需要结合xlutils来使用。
  如果只是读取,没有格式要求的话,建议使用xlrd。
  如果是需要在原文件上修改的话,建议使用openpyxl。

另注:

  openpyxl的根据行号列号读取的时候,是从第一行第一列开始遍历,直到行号等于指定行号,列号等于指定列号,所以要读取的行号列号越多就越慢。写入数据时,也需要先找到对应的单元格。(也可能是从第一个有数据的行或列)。而xlrd则是类似与数组一样,我们要取第几个元素,直接根据下标找到内存中对应地址的元素即可,所以无论excel总量多少,速度变化并不明显

附录:

Python 通过xlutils实现在保留execl原格式的情况下写数据

#coding=utf-8import xlrd,xlwtfrom xlutils.copy import copy
#读取文件
read_file = xlrd.open_workbook(file_path,formatting_info=True)#参数注释:
#file_path:文件路径,包含文件的全名称
#formatting_info=True:保留Excel的原格式
#将文件复制到内存
write_data = copy(read_file)
#读取复制后文件的sheet1
write_save = write_data.get_sheet(0)#可以通过表名索引
#写入数据
write_save.write(x,y,value)#参数注释:
#x,y:写入目标格的位置坐标
#value:写入数据
#保存写入数据后的文件到原文件路径
write_data.save(self.file_path)

通过xlrd读取Excel数据:

import xlrd

#通过open_workbook读取Excel文件
data_r = xlrd.open_workbook("资产盘点记录表.xls")
#通过索引将sheet表赋值给变量
table_r = data_r.sheets()[0]
#获取整列数据(列索引)
col_value = table_r.col_values(1)
#获取整行数据(行索引)
row_valu e= table_r.row_values(1)
#获取单个单元格数据(行索引,列索引)
value = sheet1.cell(1,2).value

通过xlwt创建新表写入数据

import xlwt
# 创建Excel文件对象、表格页sheet
workbook = xlwt.Workbook(encoding='utf-8')
worksheet = workbook.add_sheet('sheet名称')

# sheet页中写入数据
worksheet.write(0, 0, label='ID')
worksheet.write(0, 1, label='姓名')

# 保存Excel文件
workbook.save(file_name)

xlutils参考资料:https://www.cnblogs.com/machangwei-8/p/10739115.html
openpyxl参考资料:https://geek-docs.com/python/python-tutorial/python-openpyxl.html

你可能感兴趣的:(python,openpyxl,xlrd,python,自动化测试,读写execl)