数据可视化（2）-- 从定宽数据文件，json数据源导入数据

从定宽数据文件导入数据

操作步骤

	import struct
	import string
	datafile = 'ch02-fixed-width-1M.data'
	mask='9s14s5s' // mask告诉struct模块的Struct方法如何去读取定宽的数据
	
	with open(datafile,'r') as f:
		for line in f:
			fields = struct.Struct(mask).unpack_from(line)
			print('fields:' + [field.strip() for field in fields]

工作原理

• mask中9，14，5表示读取的长度，s表示string格式，其余也有c（char），d（double）等
• 通过一个for循环，用unpack_from方法来解析定宽数据文件中的每一行，得到一个含有每行个数的列表，再依次输出

从JSON数据源中导入数据

操作步骤

	import requests
	url = 'http......'
	r = requests.get(url)
	json_obj = r.json()
	repos = set() // set()是一个集合，其中不允许存在两个相同的值
 
	for entry in json_obj :
		try :
			repos.add(entry['repository']['url'])
		except KeyError as e:
			print ('No key' + entry['repository']['url'] + 'Skipping...')
	
	from pprint import pprint
	pprint(repos)

工作原理

• 用request模块获取远程资源再用get（）来进行调用
• json_obj = r.json(）中是将获得的r的对象通过json（）方法将url的json字典传给json_obj