由于需要处理xlsx类型的文件,我使用了openpyxl来处理,然而文件比较大,大约有60多MB。读文件的时候虽然慢了一点,但还是能够读出来,但是当我想写入时却报错了。
显示设备没有多余的空间,百度了一下,发现有不少关于openpyxl读写大文件的问题。总结来看,解决方案主要有以下两种,当然,我两种都用上了。
手动释放内存
del wb, ws
gc.collect()
这一招还算有用,在读完文件后可以看到内存占用明显下降了一点。
安装lxml
使用命令·pip install lxml
安装依赖
这个依赖并非必须安装的依赖,但是可以使openpyxl流式处理数据。
总之使用了以上两种方案后,终于可以成功处理数据了。