Python读写JSON、pickle、XML、CSV、等格式的文件

一、JSON

1.基本概念及格式

JSON（JavaScript Object Notation，JS 对象简谱），是一种轻量级的数据交换格式。

2.使用json模块读写

在python中，json由list和dict组成，用于字符串和python数据类型间的转换。
python的json模块提供了四个功能：dumps、dump、loads、load。

dumps 把数据类型转换成字符串
dump 把数据类型转换成字符串并存储在文件中
loads 把字符串转换成数据类型
load 把文件打开从字符串转换成数据类型

参考

1. 百度百科：JSON
2. 博客园：python读写json文件

二、XML

1.按字段读取

from xml.dom.minidom import parse

xml_path = 'test.xml'
DOMTree = parse(xml_path)
annotation = DOMTree.documentElement
filename = annotation.getElementsByTagName("filename")[0].childNodes[0].data
objects = annotation.getElementsByTagName("object")
for defect in objects:
    uuid = defect.getElementsByTagName("name")[0].childNodes[0].data

    polygon_tag = defect.getElementsByTagName("polygon")[0]
    contour_tag = polygon_tag.getElementsByTagName("point")
    label_contour = []
    for point in contour_tag:
        x = point.getElementsByTagName("x")[0].childNodes[0].data
        y = point.getElementsByTagName("y")[0].childNodes[0].data
        x, y = int(float(x)), int(float(y))
        label_contour.append([[x, y]])

参考

1. 百度百科：可扩展标记语言

三、CSV

1.基本概念及格式

逗号分隔值（Comma-Separated Values，CSV），有时也称为字符分隔值，因为分隔字符也可以不是逗号。

csv以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。

csv文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。

csv文档是一种可以通过Excel以及普通的文本编辑器创建，访问，编辑的文档。

特点：

1. 读取出的数据一般为字符类型，如果是数字需要人为转换为数字。
2. 以行为单位读取数据。
3. 列之间以半角逗号或制表符为分隔，一般为半角逗号。
4. 一般每行开头不空格，第一行是属性列，数据列之间以间隔符为间隔无空格，行之间无空行。
   行之间无空行十分重要，如果有空行或者数据集中行末有空格，读取数据时一般会出错，引发[list index out of range]错误。

2.使用csv模块读写

1. csv模块写入

import csv

# 文件头，即数据类别
fileHeader = ["name", "score"]

# 写入以下两行数据
d1 = ["Wang", "100"]
d2 = ["Li", "80"]

# 写入数据
f_csv= open("instance.csv", "w") # 若追加写入，则将w改为a
writer = csv.writer(f_csv)

# 写入的每行内容都是以列表的形式传入
writer.writerow(fileHeader) # 先写入文件头
# 每次写完一行之后，会自动换行
writer.writerow(d1)
writer.writerow(d1)

f_csv.close()

写入结果为：instance.csv:
name,score
Wang,100
Li,80

对于一次写入多行的情况，可以使用 writerows()。还是上面的例子，可以把三行写入的代码，换成下面的一行。writerows()传入的参数是一个列表，每个元素代表需要写入的每行数据。得到的结果和上面是一样的。

writer.writerows([fileHeader, d1, d2])

2. csv模块读取

import csv

# 读取csv
f_csv= open("instance.csv", "r") # r为只读模式
reader = csv.reader(f_csv)

for item in reader:
    print(item) # >>> ['name', 'score']
                # >>> ['Zhang', '100']
                # >>> ['Wang', '80']
                # >>> ['Li', '90']

for item in reader:
    if reader.line_num == 1:
        continue
    print(item)  # >>> ['Zhang', '100']
                 # >>> ['Wang', '80']
                 # >>> ['Li', '90']

f_csv.close()

csv.reader(f_csv)创建的reader对象其实就是由CSV文档的多行数据构成的，每行数据会有一个属性line_num表示行数。显然，数据第一行”name,score”只是数据说明，需要忽略掉。

如果用for循环迭代访问reader，我们会发现，每次循环得到的都是一个列表，列表的每个元素就是CSV文档的每一行中 “,” 分隔开的数据。

3.使用pandas模块读写

参考

1. 百度百科： CSV （逗号分隔值文件格式）
2. 博客园：使用Python读写csv文件的三种方法
3. CSDN：Python--读写CSV文档
4. CSDN：python写入csv文件的几种方法总结