【利用python进行数据分析】Chapter6：数据加载

1.csv的存取

import pandas as pd
#直接读取csv
df = pd.read_csv('data.csv')
#读取，指定分隔符
df = pd.read_table('data.csv',sep=',')  #分隔符是，
#当有的table的分隔符不固定的时候，可以使用正则表达式来代表分隔符
res = pd.read_table('a.txt',sep = '\s+')#分隔符是不同长度的空格符时
#读取csv的时候，指定列名
df = pd.read_csv('data.csv',names = ['a','b','c','message'])
#也可以指定索引的名称
df = pd.read_csv('data.csv',names = ['a','b','c']，index_col = 'message')
#有的文件开头几行不需要读入
pd.read_csv('data.csv',skiprows=[0,2,3]) #跳过0，2，3行
#读取文件的时候先只读前几行
df = pd.read_csv('data.csv'，nrows = 5)
#将dataframe存取为csv
data.to_csv('out.csv')
data.to_csv('out.csv',sep ='|')  #存储时的间隔符为|
data.to_csv('out.csv'，na_rep = 'missing')  #将缺失字符用missing表示

#除了使用pd.csv读取文件外，还可以使用python内置的csv模块读取
import csv 
f = open('a.csv')
reader = csv.reader(f)
# reader = csv.reader(f,delimiter = '|')  #当文本的分隔符为|时
#得到的reader是一个可迭代的对象，其中每个子元素可以看作是这个文件中的一行
#写入
with open('writer.csv','w') as f:
writer = csv.writer(f)
writer.writerow(('one','two'))

2.json-str

import json
#将json字符串转化为python形式
res = json.loads(obj)
#将python对象转化为json形式
asjson = json.dumps(str)

3.简单爬虫

import requests
url = 'https://www.baidu.com/s?ie=UTF-8&wd=csdn'
resp = requests.get(url)
resp  # 表示爬取成功

4.连接数据库
输入指令之后，剂的使用commit提交