csvkit库解决excel转换csv

1. in2csv xxx.xlsx  > xxx.csv  excel转csv一行代码搞定，效率很高，转化后原excel不会消失。
2. 1 转化后，在windows打开会乱码，所以需要用代码进行转化为utf-8格式。
只有转化为utf-8才能进行2个csv进行合并，否则合成的文件为空的csv文件。
3. csvstack 01.csv 02.csv > 03.csv 两个CSV文件合并。
大前提01 02连个csv文件必须是utf-8,合并前必须转化为utf-8否则，合并的文件为一个 空数据的csv文件.

Excel转CSV

csvkit这个python库来解决。主要是通过命令行执行很效率，不用使用太多的循环语句进行转换

安装

• 官方 https://csvkit.readthedocs.io/en/latest/tutorial/1_getting_started.html
• pip install csvkit

• 上面安装可能报错，怎么解决呢，那就是使用移花接木嫁接法。

• 步骤1：大前提pip38 install virtualenv已经装好了 创建一个项目比如ccc，给他整一个虚拟目录

  virtualenv -p D:\software\python37\python.exe I:\python20\softwaredate\ccc\env

• 步骤2：pip38 install pqi.依次如下图输入命令： 目的是更换国内源
  

  image.png

• 步骤3：pi38 install csvkit

  • 检查csvkit版本：pip38 show csvkit
    
    image.png

• -------------------------------------------------------分割线--------------------------------------------

• 前面步骤是 创建一个ccc项目，并且更换pip的国内源，安装好了csvkit，接下来是导出安装的明细，给其他地方安装

• pip38 freeze > csvkit.txt 先导出上面虚拟环境在相关包

• pip38 install -r csvkit.txt 在你需要安装的项目执行就可以了

csvkit.txt 导出内容

agate==1.6.1
agate-dbf==0.2.2
agate-excel==0.2.3
agate-sql==0.5.6
Babel==2.9.0
csvkit==1.0.5
dbfread==2.0.7
docopt==0.6.2
et-xmlfile==1.0.1
greenlet==1.0.0
isodate==0.6.0
leather==0.3.3
openpyxl==3.0.7
parsedatetime==2.6
pqi==2.0.6
python-slugify==4.0.1
pytimeparse==1.1.8
pytz==2021.1
six==1.15.0
SQLAlchemy==1.4.2
text-unidecode==1.3
xlrd==2.0.1

使用：

1. 打开一个exce l文件：in2csv ne_1033_data.xlsx
2. excel转csv:in2csv ne_1033_data.xlsx > data.csv
3. 合并2个csv文件：csvstack ne_1033_data.csv ks_1033_data.csv > region.csv
4. 将csv转换为json:csvjson data.csv > data.json

演练

os.system("in2csv csv001.xlsx") # 读 excel文件

os.system("in2csv csv001.xlsx > csv111.csv") # excel转化为 csv文件 转化后excel文件还存在
# os.system("in2csv csv111.csv > csv112.xlsx")# csv转excel不行

**之前excel转化成CSV的两个文件 csv111.csv 和csv112.csv 进行合并报错了 **

#重点来了 坑准备
from scripts.handle_file import HandleFile

print(HandleFile.file_encoding("csv001.csv"))

os.system("in2csv csv001.xlsx > csv112.csv")
os.system("csvstack csv112.csv csv111.csv > add1.csv") # csv112 csv111没转成utf-8之前两文件进行合并

*报错如下

Your file is not "utf-8-sig" encoded. Please specify the correct encoding with the -e flag or with the PYTHONIOENCODING environment variable. Use the -v flag to see the complete error. sys:1: ResourceWarning: unclosed file <_io.TextIOWrapper name='csv112.csv' mode='rt' encoding='utf-8-sig'>

哇哇55555 居然用csvkit库转化成的csv 两个结构数据一模一样不能合并 详细看下图。不服啊 继续想办法 那么想看看这个两个文件csv111 csv112是什么编码可以用chardet这个库自己代码识别

image.png

csv111 csv112 识别出来的代码居然是EUC-KR，csvkit代码报出来的是utf-8-sig。靠这是什么贵，先不管

---

image.png

发现一个问题，csvkit库将excel转化成csv之后，编码并不是utf-8.需要我们自己用工具转化或者代码转化成utf-8.再使用csvstack 01.csv 02.csv > 03.csv 转化才会成功。

image.png

合成的数据如下

image.png

总结：

1. in2csv xxx.xlsx xxx.csv excel转csv一行代码搞定，效率很高，转化后原excel不会消失。
2. 1 转化后，在windows打开会乱码，所以需要用代码进行转化为utf-8格式。只有转化为utf-8才能进行2个csv进行合并，否则合成的文件为空的csv文件。
3. csvstack 01.csv 02.csv > 03.csv 两个CSV文件合并。大前提01 02连个csv文件必须是utf-8,合并前必须转化为utf-8否则，合并的文件为一个 空数据的csv文件.