csv文件及json数据处理
-
读写csv文件
读与写常用函数
- csv.reader(),读取为一个元组的序列
- csv.DictReader() ,读取为一个字典序列
- csv.writer()
- csv.DictWriter()
读取csv文件
import csv
from collections import namedtuple
with open("country.csv","r") as f:
csv_r=csv.reader(f)
headers=next(csv_r)
Row=namedtuple("Row",headers)
for r in csv_r:
row=Row(*r)
print(row)
写csv文件，通常情况下，写入csv文件内容会空一行，为了解决该问题，python3，需要添加参数newline=''；python2将模式改成wb即可
#示例：写入字典的序列，使用DictWriter（）
headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
rows = [{'Symbol':'AA', 'Price':39.48, 'Date':'6/11/2007',
'Time':'9:36am', 'Change':-0.18, 'Volume':181800},
{'Symbol':'AIG', 'Price': 71.38, 'Date':'6/11/2007',
'Time':'9:36am', 'Change':-0.15, 'Volume': 195500},
{'Symbol':'AXP', 'Price': 62.58, 'Date':'6/11/2007',
'Time':'9:36am', 'Change':-0.46, 'Volume': 935000}]
with open("text.csv","w",,newline='') as f:
f_csv=csv.DictWriter(f,headers)
f_csv.writeheader()
f_csv.writerows(rows)
值得注意的是，csv产生的数据为字符串类型，如需要转化成对应数据类型，必现做一个数据类型的转换，此时推导式排上用场
#示例1：转化成特定数据类型的元组
data_type=[str,float,str,str,float,int]
with open("text.csv","r") as f:
f_csv=csv.reader(f)
headers=next(f_csv)
for item in f_csv:
row=tuple((convert(value)for convert,value in zip(data_type,item)))
print(row)
#示例2：转化成字典序列
field_types = [
('Symbol',str),
('Price',float),
('Date',str),
('Time',str),
('Change',float),
('Volume',int)]
with open('text.csv') as f:
for row in csv.DictReader(f):
print(row)
row.update((key, conversion(row[key]))for key, conversion in field_types)
print(row)
- 读写json数据
Json 即JavaScript Object Notation的简称, 支持的基本数据类型有bool、int、float、str、None、以及包含这些基本数据类型的lists、dictionaries（keys需要字符类型）、tuples。
python中，json编码与解码字符串，主要函数是json.dumps()和json.loads()
>>> import json
>>> data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
>>> json.dumps(data)
'{"shares": 100, "name": "ACME", "price": 542.23}'
>>> json_str=json.dumps(data)
>>> json.loads(json_str)
{'shares': 100, 'name': 'ACME', 'price': 542.23}
>>>
如果要处理的是文件，而不是字符串，则使用json.dump()、json.load()
import json
data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
with open("json.json","w") as f:
json.dump(data,f)
JSON 编码的格式对于 python 语法而已几乎是完全一样的，除了一些小的差异之外。比如， True 会被映射为 true， False 被映射为 false，而 None 会被映射为 null。
>>> import json
>>> d = {'a': True, 'b': 'Hello', 'c': None}
>>> json.dumps(d)
'{"c": null, "a": true, "b": "Hello"}'
>>>
格式化json编码后的数据，尤其对于数据结构嵌套深或者包含大量字段，通常直接打印来看的话，可读性比较差，可以通过格式化的方式、提高可读性。
- pprint()应用
- dumps()函数中使用indent参数
>>> strs={
'employee':
{
'firstName': "John",
'lastName' : "Doe",
'employeeNumber' : 123,
'title' : "Accountant"
}
}
>>> json_Str=json.dumps(strs,indent=4)
>>> print(json_Str)
{
"employee": {
"employeeNumber": 123,
"lastName": "Doe",
"firstName": "John",
"title": "Accountant"
}
}
>>>
一般来说，json编码loads()会根据指定数据创建lists或者dictionaries，如果你想要创建其他类型的对象，可以给 json.loads() 传递 object pairs hook 或 object hook 参数。
>>>#__dict__（）将字典转化成对象属性
>>> class JSONObject:
def __init__(self, d):
self.__dict__ = d
>>> s = '{"name": "ACME", "shares": 50, "price": 490.1}'
>>> data = json.loads(s, object_hook=JSONObject)
>>> data.name
'ACME'
>>>
参考文章：
http://www.cnblogs.com/to-creat/p/7215510.html
https://www.crifan.com/python_csv_writer_writerow_redundant_new_line/