Python数据分析(二)数据采集与操作

目录：
常用格式的本地数据读写
Python的数据库基本操作
数据库多表连接
爬虫简介
BeautifulSoup解析网页
爬虫框架Scrapy
实战案例：获取国内城市空气质量指数数据

一.常用格式的本地数据读写

 常用的数据分析文件格式：txt，csv，json，xml(Excel)，xls，HDF

1.txt文件读写

  由字符串行组成，每行由EOL(End Of Line)字符隔开，'\n'
  (1)打开文件，注意编码

file_obj = open(filename,access_mode,encoding='utf-8')
access_mode:'r','w'
file_obj.close()

(2)读操作

file_obj.read()    读取整个文件内容
file_obj.readline()     逐行读取
file_obj.readlines()        返回列表，列表中的每个元素是内容
file_obj.close()

(3)写操作

file_obj.write()    将内容写如文件
file_obj.writelines()     将字符串列表内容逐行写入文件
file_obj.close()

(4)with语句：包括异常处理，走动调用文件关闭操作，推荐使用
适用于对资源进行访问的场合，确保无论适用过程中是否发生异常都会执行‘清理’操作，如关闭文件，线程的自动获取与释放

filename='........../.txt'
with open(filename,'r',encoding='utf-8') as f_obj:
     print(f_obj.read())#执行相关操作

2.CSV(Comma-Separated Values)文件读写（Excel文件相似）

以纯文本形式存储的表格数据(以逗号作为分隔符)，通常第一行为列名利用pandas处理快捷方便
Pandas基于Numpy构建，索引在左，数值再右，索引是Panda自动创建的

Panda数据结构：series，类似于一维数组对象；DataFrame，表格型数据结构，每列可以是不同的数据类型，可表示二维或者更高维的数据

(1)读操作

import pandas as pd
filename = '......../.csv'
df = pd.read_csv(filename,encoding='utf-16')      #返回DataFrame类型数据
print(df.head())    #输入行列数据，第一行通常为列名

"""如何读取列数据"""
country_se = df[u'国家']             #u表示后面字符的编码，‘国家’为列名

(2)写操作

filename='......../.csv'
df.to_csv(filename,index=None,encoding='utf-8')

3.JSON(JavaScript Object Notation)文件

语法规则：数据是键值对，由逗号分隔，{ }保存对象，[ ]保存数组
(1)读操作

filename = '...../.json'
with open(filename,'r') as f_obj:
      json.load(f_obj)     #返回dict类型

(2)JSON ---->csv：

"""分别取出JSON的键值,键：year_lst;值：temp_lst"""
import panda as pd
year_se = pd.Series(year_lst,name='year')
temp_se = pd.Series(temp_lst,name='temperature')
result_df = pf.concat([year_se,temp_se],axis=