读取很大的压缩文件内任意文件夹下csv的方法

一般格式是rar、zip、7z

rar:
先要装rarfile,这个东西会爆没有装unrar的问题,然后你会发现pip install unrar 并没有什么鬼用???
实际上需要一个UnRAR.exe
感谢一下 https://blog.csdn.net/qq_22186119/article/details/78109819

rar_path = rarfile.RarFile("H:/BaiduNetdiskDownload/分割好10/2016分割好/Stk_Tick10_2016/Stk_Tick10_201601.rar")
file_name=[f.filename for f in rar_path.infolist()]

csv_file_name = "Stk_Tick10_201601/20160129/sz300439.csv"
rar_file = rarfile.RarFile.open(rar_path, csv_file_name)
df=pd.read_csv(rar_file,encoding='gbk')

zip:
zip的官方的pd.read_csv就可以直接读,当然也可以搞zipfile,方法和上面是一样的

from zipfile import ZipFile

myzip=ZipFile('zip_name.zip')
f=myzip.open('csv_name.csv')
df=pd.read_csv(f)

7z:
https://blog.csdn.net/selous/article/details/76674118?fps=1&locationNum=8

你可能感兴趣的:(大数据)