第一章 python数据挖掘基础环境安装和使用
第二章 Matplotlib
第三章 Numpy
Pandas是数据处理工具
回忆我们在numpy当中创建的股票涨跌幅数据形式
import numpy as np
stock_change = np.random.normal(loc=0, scale=1, size=(10,5))# 创建一个符合正态分布的10只股票,5天的涨幅数据
但是这样的数据形式很难看到存储的是什么样的数据,并且也很难获取相应的数据,比如需要获取某个指定股票的数据,就很难去获取!
如何让数据更有意义的显示?
pandas.DataFrame( data, index, columns, dtype, copy)
# 使用Pandas中的数据结构
import pandas as pd
pd.DataFrame(stock_change)
我们可以发现原始的二维数组行和列都是有明显的索引了,但是因为我们没有指定行列索引,它默认生成0到n的索引,现在我们还是不知道这些数据代表什么意思,所以我们需要手动添加行列索引。
给股票涨跌幅数据增加行列索引,显示效果更佳
pandas.DataFrame( data, index, columns, dtype, copy)
# 添加行索引
stock = ["股票{}".format(i) for i in range(10) ]
pd.DataFrame(stock_change,index=stock)
# 添加列索引
date = pd.date_range(start="20230720",periods=5,freq="B")
pd.DataFrame(stock_change,index=stock,columns=date)
跟Numpy学的时候是类似的,我们把DataFrame就可以看成是ndarray外面包了一层行索引和列索引,所以ndarray有的属性它一般也是有的。
shape
index 行索引列表
columns 列索引列表
values 直接获取其中 array 的值,把行索引、列索引刨除之后的东西,其实就是刚开始的ndarray
T 行列转置
data = pd.DataFrame(stock_change,index=stock,columns=date)
data.shape
data.index
data.columns
data.values
data.T
一般用在当我们想看这个数据构成有哪些字段、哪些索引,又不想把整个大表全都显示出来,因为有时候数据量非常大,这时候我们就经常用到DataFrame.head()
注意: 以下修改方式是错误的,在DataFrame中你要想改DataFrame.index你只能整体的修改,单独的修改索引是不行的。
# 错误修改方式
data.index[3] = '股票_3'
正确的方式:
stock_code = ["股票_{}".format(i) for i in range(10) ]
data.index = stock_code # 必须整体全部修改
date= pd.date_range(start="2023-07-25",periods=5,freq="B")
data.columns = date
data
data.reset_index()
data.reset_index(drop=True) # drop=True把之前的索引删除
索引 默认都是 0-10 的
其实我们还可以用字典去生成DataFrame
df = pd.DataFrame({"month":[1,4,7,10],
"year":[2012,2014,2016,2015],
"sale":[55,40,84,31]})
df.set_index("month")
3.设置多个索引,以年和月份
new_df = df.set_index(["month","year"])
new_df.index
可以看到它的索引结果变成 MultiIndex,带MultiIndex的DataFrame。
多级或分层索引对象。
print(new_df.index)
print(new_df.index.names)
print(new_df.index.levels)
p = pd.Panel(np.arange(24).reshape(4,3,2),
items=list('ABCD'),
major_axis=pd.date_range('20130101', periods=3),
minor_axis=['first', 'second'])
p["A"]
p.major_xs("2013-01-01")
p.minor_xs("first")
注:Pandas 从版本 0.20.0 开始弃用,推荐的用于表示 3D 数据的方法是 DataFrame 上的 MultiIndex 方法
思考:如果获取DataFrame中某个股票的不同时间数据? 这样的结构是什么?
import numpy as np
stock_change = np.random.normal(loc=0, scale=1, size=(10,5))# 创建一个符合正态分布的10只股票,5天的涨幅数据
import pandas as pd
# 添加行索引
stock = ["股票{}".format(i) for i in range(10) ]
pd.DataFrame(stock_change,index=stock)
# 添加列索引
date = pd.date_range(start="20230720",periods=5,freq="B")
data = pd.DataFrame(stock_change,index=stock,columns=date)
data
data.iloc[1,:]
这样获取到的数据,相当于在这样的二维表(data)中,我去抽取了它一行,这样的一个数据,如果我们不要行索引(股票1),它其实就是一个一维数组,这个行索引我们统一的这行就是股票1,它列索引是不还在呀?还有2023-07-20到2023-07-26,所以我们这样的一个结构,我们可以理解成带索引的一维数组,也就是我们Pandas中的第三大数据结构,叫做Series。
带索引的一维数组
什么是Series结构呢,我们直接看下面的图:
因为它现在是一维的,所以不分行列了,只说带索引的一维数组。
sr = data.iloc[1,:]
sr.index
sr.values
type(sr.values)
通过已有数据创建
指定内容,默认索引
pd.Series(np.arange(10))
Series默认索引就是从0开始排的
注意:只能传一维的
指定索引
pd.Series(np.arange(3,9,2),index=["a1","a2","a3"])
通过字典数据创建
pd.Series({'red':100, 'blue':200, 'green': 500, 'yellow':1000})
总结:DataFrame 是 Series 的容器,Panel 是 DataFrame 的容器
为了更好的理解这些基本操作,我们将读取一个真实的股票数据。关于文件操作,后面再介绍,这里只先用一下API
链接:https://pan.baidu.com/s/1JfZdA-gLHvFzoPqcWIhLAA?pwd=6666
提取码:6666
import pandas as pd
# 读取文件
data = pd.read_csv("./stock_day/stock_day.csv")
# 删除一些列,让数据更简单些、再去做后面的操作
data = data.drop(["ma5","ma10","ma20","v_ma5","v_ma10","v_ma20"], axis=1)
data
Numpy当中我们已经讲过使用索引选取序列和切片选择,pandas也支持类似的操作,也可以直接使用列名、行名称,甚至组合使用。
# data[0,1] # 报错:不能直接进行数字索引
data["open"]["2018-02-26"]# 必须先列后行
# data["2018-02-26"]["open"]# 报错:要先列后行
结合loc或者iloc使用索引
data.loc["2018-02-26"]["open"] # 按名字索引
data.loc["2018-02-26", "open"]
data.iloc[1, 0] # 数字索引
# 结果:22.8
如果我既想用到名字索引又想用到数字索引,怎么办呢?
# 组合索引
# 获取行第1天到第4天,['open', 'close', 'high', 'low']这个四个指标的结果
# data.ix[:4, ['open', 'close', 'high', 'low']] # 不能用了,过时了
data.loc[data.index[0:4], ['open', 'close', 'high', 'low']]
data.iloc[0:4, data.columns.get_indexer(['open', 'close', 'high', 'low'])]
可以用四种索引操作方法进行赋值操作
data['open']# 获取一整列
data.open# 获取一整列
data.open = 100 # 整个open列给他赋值100
data
data.iloc[1, 0] = 222 # 第2行第1列给他赋值222
data
排序有两种形式,一种对内容进行排序,一种对索引进行排序。
既可以对DataFrame又可以对Series进行排序。
df.sort_values(by=,ascending=)
对内容进行排序
data.sort_values(by="high")
data.sort_values(by="high" ,ascending=False)
data.sort_values(by=["high", "p_change"], ascending=False)
data.sort_values(by=["high", "p_change"], ascending=False).head() # 多个列内容排序
使用 df.sort_index
对索引进行排序
这个股票的日期索引原来是从大到小,现在重新排序,从小到大
data.sort_index()
data.sort_index().head()
Series 排序 跟 DataFrame一样
- series.sort_values(ascending=True)
- series本来只有一维,可以不用指定字段就进行排序了
- series.sort_index()
sr = data["price_change"] sr.sort_values(ascending=False).head() sr.sort_index().head()
Series也是类似的
(data["open"] + 3).head() # 算数运算符
data["open"].add(3).head() # open统一加3 data["open"] + 3
data.sub(100).head() # 所有统一减100 data - 100
data["close"].sub(data["open"]).head() # close减open
例如筛选p_change > 2 的日期数据
data['p_change'] > 2
跟Numpy一样也是返回一组布尔值,只不过不一样的是他是返回的是Series,他是带索引的布尔值。也能像Numpy一样可以做布尔索引。
data[data['p_change'] > 2]
完成一个多个逻辑判断,筛选p_change >2并且low >15
data[(data["p_change"] > 2) & (data["low"] > 15)]
query(expr)
isin(values)
data.query("p_change > 2 & low > 15").head()
data[data["turnover"].isin([4.19, 2.39])] # 判断'turnover'是否为 4.19, 2.39
describe()
综合分析:能够直接得出很多统计结果,count 计数, mean平均值, std标准差, min最小值, max最大值, var方差, std 标准差, median 中位数, sum 求和,idxmax 求出最大值位置, idxmin 求出最小值位置 等
data.describe()
data.max()
data.max(axis=0)# 默认axis=0按列求最大值,=1就是按行求
data.idxmax(axis=0) #最大值位置
分位数:就是你把一组数据从小到大排列,分成四份,在第25%的位置的数就是25%分位数。50%就是中位数。
函数 | 作用 |
---|---|
cumsum | 计算前 1/2/3/…/n 个数的和 |
cummax | 计算前 1/2/3/…/n 个数的最大值 |
cummin | 计算前 1/2/3/…/n 个数的最小值 |
cumprod | 计算前 1/2/3/…/n 个数的积 |
举个例子:假设a= [1, 2, 3, 4, 5, 6, 7], cumsum 之后得到的结果是[ 1, 3, 6, 10, 15, 21, 28] |
data["p_change"].sort_index().cumsum()
data["p_change"].sort_index().cumsum().plot()
定义一个队列,最大值-最小值的函数
data.apply(lambda x: x.max() - x.min())
data.plot(x="volume", y="turnover", kind="scatter")
data.plot(x="high", y="low", kind="scatter")
更多参数细节:https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.plot.html
sr.plot(kind="line")
准备数据:
链接:https://pan.baidu.com/s/1JfZdA-gLHvFzoPqcWIhLAA?pwd=6666
提取码:6666
读取csv文件
import pandas as pd
pd.read_csv("./stock_day/stock_day.csv", usecols=["high", "low", "open", "close"]).head() # 读哪些列
data = pd.read_csv("stock_day2.csv", names=["open", "high", "close", "low", "volume", "price_change", "p_change", "ma5", "ma10", "ma20", "v_ma5", "v_ma10", "v_ma20", "turnover"]) # 如果列没有列名,用names传入
data
案例
# 选取10行数据保存,便于观察数据
data[:10].to_csv("test.csv", columns=["open"]) # 保存open列数据
读取,查看结果
pd.read_csv("test.csv")
我们发现第一列字段名Unnamed: 0 ,因为它在读取的时候,我们也没有给它names参数,而数据里前面的字段也是空的,所以就直接给了个Unnamed: 0 。
如果我们不想要这个索引列的话,怎么办?我们在保存的时候, 其实就可以设置一个参数,就是index可以设置成False,不要行索引。
data[:10].to_csv("test.csv", columns=["open"], index=False)
mode="a"追加模式|mode="w"重写
header=False不要列索引,防止追加的时候把列索引加进去
data[:10].to_csv("test.csv", columns=["open"], index=False, mode="a", header=False) # 保存opend列数据,index=False不要行索引,
# mode="a"追加模式|mode="w"重写,
# header=False不要列索引,防止追加的时候把列索引加进去
hdf5文件不像csv可以直接去看,hdf5是一个二进制文件。
优先选择使用HDF5文件存储
HDF5 文件的读取和存储需要指定一个键,值为要存储的 DataFrame
可以这么理解: hdf5 存储 三维数据的文件
key1 dataframe1二维数据
key2 dataframe2二维数据
pandas.read_hdf(path_or_buf, key=None, **kwargs)
DataFrame.to_hdf(path_or_buf, key, **kwargs)
data.head(4).to_hdf("test.h5", key="close")
day_close = pd.read_hdf("test.h5") # 当只有一个键的时候,可以查出来,不会报错
data.tail(4).to_hdf("test.h5", key="tailclose")
# day_close = pd.read_hdf("test.h5")# 里面两个键,报错
day_close = pd.read_hdf("test.h5",key="tailclose")
Json是我们常用的一种数据交换格式,前面在前后端的交互经常用到,也会在存储的时候选择这种格式。所以我们需要知道Pandas如何进行读取和存储JSON格式。
read_json()
pandas.read_json(path_or_buf=None,orient=None,typ="frame",lines=False)
orient
: string,Indication of expected JSON string format. 告诉API读取进来的JSON以怎样的格式进行展示
lines
: boolean, default False
DataFrame.to_json(path_or_buf=None,orient=None,lines=False)
sa = pd.read_json("Sarcasm_Headlines_Dataset.json", orient="records", lines=True)
sa.to_json("test.json", orient="records")
sa.to_json("test.json", orient="records", lines=True)
没有指定lines=True,那么他就没有以这个行为一个样本,换行下来,他是形成了中括号包着一层一层的样本还用逗号分割。看起来比较乱
如何处理缺失值
两种思路:
NaN是float类型
pd.isnull(df)
pd.notnull(df)
df.dropna(inplace=True)
默认按行删除 inplace:True 修改原数据,False 返回新数据,默认 Falsedf.fillna(value,inplace=True)
value 替换的值 inplace:True 修改原数据,False 返回新数据,默认 Falseimport pandas as pd
import numpy as np
movie = pd.read_csv("./IMDB/IMDB-Movie-Data.csv")
# 1)判断是否存在NaN类型的缺失值
np.any(pd.isnull(movie)) # 返回True,说明数据中存在缺失值
np.all(pd.notnull(movie)) # 返回False,说明数据中存在缺失值
pd.isnull(movie).any()
pd.notnull(movie).all()
# 2)缺失值处理
# 方法1:删除含有缺失值的样本
data1 = movie.dropna()
pd.notnull(data1).all()
# 方法2:替换
# 含有缺失值的字段
# Revenue (Millions)
# Metascore
movie["Revenue (Millions)"].fillna(movie["Revenue (Millions)"].mean(), inplace=True)
movie["Metascore"].fillna(movie["Metascore"].mean(), inplace=True)
movie["Revenue (Millions)"].mean() # 平均值
numpy.nan 就是 NaN
df.replace(to_replace=, value=)
# 读取数据
path = "breast-cancer-wisconsin.data.csv"
name = ["Sample code number", "Clump Thickness", "Uniformity of Cell Size", "Uniformity of Cell Shape", "Marginal Adhesion", "Single Epithelial Cell Size", "Bare Nuclei", "Bland Chromatin", "Normal Nucleoli", "Mitoses", "Class"]
data = pd.read_csv(path, names=name)
# 1)替换 ? -> NaN
data_new = data.replace(to_replace="?", value=np.nan)
# 2)删除缺失值
data_new.dropna(inplace=True)
连续属性的离散化就是将连续属性的值域上,将值域划分为若干个离散的区间,最后用不同的符号或整数 值代表落在每个子区间的属性值。
这种表示方法就叫做数据的离散化,这种表示形式叫做one-hot编码,也叫哑变量。
连续属性离散化的目的是为了简化数据结构,数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。
pd.qcut(data, bins)
pd.cut(data, [])
都是左开右闭区间
pd.get_dummies(sr, prefix=)
如果想看 Series每个区间段都有几个样本
sr.value_counts()
看每一组分组情况
# 1)准备数据
data = pd.Series([165,174,160,180,159,163,192,184], index=['No1:165', 'No2:174','No3:160', 'No4:180', 'No5:159', 'No6:163', 'No7:192', 'No8:184'])
# 2)分组
# 自动分组
sr = pd.qcut(data, 3)
sr.value_counts() # 看每一组有几个数据
# 3)转换成one-hot编码
pd.get_dummies(sr, prefix="height")
# 自定义分组
bins = [150, 165, 180, 195]
sr = pd.cut(data, bins)
# get_dummies
pd.get_dummies(sr, prefix="身高")
需求:我们对股票每日的"p_change"进行离散化
# 1) 读取数据
data = pd.read_csv("./stock_day/stock_day.csv")
p_change = data['p_change']
# 2) 分组
sr=pd.cut(p_change,[-100, -7, -5, -3,0,3,5,7,100])
# 3) 离散化
pd.get_dummies(sr,prefix="涨跌幅")
pd.concat([data1, data2], axis=1)
准备数据:
import pandas as pd
data = pd.read_csv("./stock_day/stock_day.csv")
p_change = data['p_change']
sr=pd.cut(p_change,[-100, -7, -5, -3,0,3,5,7,100])
data_change = pd.get_dummies(sr,prefix="涨跌幅")
拼接:
pd.concat([data,data_change],axis=1)# 水平拼接
pd.concat([data,data_change],axis=0)# 竖直拼接会怎么样
注意这两个表都是有行列索引的,如果把他们进行竖直拼接,他们这个列索引是不一致的,遇到这种情况竖直拼接,会保留所有字段,但是没有数据的字段会标记成NaN。
pd.merge(left, right, how="inner", on=[索引] )
left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
'key2': ['K0', 'K1', 'K0', 'K1'],
'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3']})
right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
'key2': ['K0', 'K0', 'K0', 'K0'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']})
pd.merge(left, right, how="inner", on=["key1", "key2"])
pd.merge(left, right, how="left", on=["key1", "key2"])
pd.merge(left, right, how="right", on=["key1", "key2"])
pd.merge(left, right, how="outer", on=["key1", "key2"])
内连接:保留共有的键,不共有的键就不合并到一起。
左连接:左表的key1、key2都是要保留下来的,右表不需要都保留,只以左表为主
右连接:右表的key1、key2都是要保留下来的,左表不需要都保留,只以右表为主
外连接:两个表的key1、key2都要保留下来,如果遇到没有数据,用缺失值NaN
作用:找到、探索两个变量之间的关系
交叉表用于计算一列数据对于另外一列数据的分组个数(寻找两个列之间的关系)
pd.crosstab(value1, value2)
import pandas as pd
# 1) 准备星期数据列
data = pd.read_csv("./stock_day/stock_day.csv")
date = pd.to_datetime(data.index)
data["week"]=date.weekday
# 2) 准备涨跌幅数据列
import numpy as np
data["pona"] = np.where(data["p_change"] > 0,1,0)
# 交叉表
table = pd.crosstab(data["week"], data["pona"])
table
pandas 专门用于处理日期的API,
date = pd.to_datetime(value)
date.year
date.month
date.weekday 1星期二; 0是星期一
DataFrame.sum(axis=)
函数返回所有数值的总和
- axis: {竖直(0),水平(1)}
DataFrame1.div(value,axis=)
- DataFrame1/value 相除
- axis: {竖直(0),水平(1)}
table.div(table.sum(axis=1), axis=0)
table.div(table.sum(axis=1), axis=0).plot(kind="bar", stacked=True)
得到的是比例
DataFrame.pivot_table([], index=[])
# 透视表操作
table.pivot_table(["pona"], index=["week"])
用透视表能直接出比例的结果
分组与聚合通常是分析数据的一种方式,通常与一些统计函数一起使用,查看数据的分组情况。
DataFrame.groupby(key, as_index=False)
案例: 不同颜色的不同笔的价格数据
col =pd.DataFrame({'color': ['white','red','green','red','green'], 'object': ['pen','pencil','pencil','ashtray','pen'],'price1':[5.56,4.20,1.30,0.56,2.75],'price2':[4.75,4.12,1.60,0.75,3.15]})
# 进行分组,对颜色分组,price1进行聚合
# 用dataframe的方法进行分组
col.groupby(by="color")["price1"].max()
# 或者用Series的方法进行分组聚合
col["price1"].groupby(col["color"]).max()
现在我们有一组关于全球星巴克店铺的统计数据,如果我想知道美国的星巴克数量和中国的哪个多,或者我想知道中国每个省份星巴克的数量的情况,那么应该怎么办?
import pandas as pd
# 准备数据
starbucks = pd.read_csv("directory.csv")
# 按照国家分组,求出每个国家的星巴克零售店数量
starbucks.groupby(by="Country")
starbucks.groupby(by="Country").count()
starbucks.groupby(by="Country").count()["Brand"]# 其实哪个字段都可以,我用Brand来当每个国家的星巴克零售店数量
starbucks.groupby(by="Country").count()["Brand"].plot(kind="bar",figsize=(20,8))
# 图太挤了,我们排序一下,把前十个店铺数量比较多的来进行比较,比较有意义
starbucks.groupby(by="Country").count()["Brand"].sort_values(ascending=False).head(10).plot(kind="bar",figsize=(20,8),fontsize=40)
假设我们加入省市一起进行分组
# 假设我们加入省市一起进行分组
starbucks.groupby(by=["Country","State/Province"]).count()
返回的这个结果是两个索引,这样的方式我们挺熟悉的,带MultiIndex的DataFrame。
问题1: 我们想知道这些电影数据中评分的平均分,导演的人数等信息,我们应该怎么获取?
问题2:对于这一组电影数据,如果我们想rating,runtime的分布情况,应该如何呈现数据?
问题3:对于这一组电影数据,如果我们希望统计电影分类(genre)的情况,应该如何处理数据?
import pandas as pd
# 1、准备数据
movie = pd.read_csv("./IMDB/IMDB-Movie-Data.csv")
movie
# 问题1: 我们想知道这些电影数据中评分的平均分,导演的人数等信息,我们应该怎么获取?
movie["Rating"].mean()# 评分的平均分 6.723199999999999
# 导演的人数,但是一个导演可能拍了不止一部电影,所以要去重
import numpy as np
# movie["Director"]
# type(np.unique(movie["Director"])) # numpy.ndarray
np.unique(movie["Director"]).size # 644个导演
# 问题2:对于这一组电影数据,如果我们想rating,runtime的分布情况,应该如何呈现数据?
movie["Rating"].plot(kind="hist",figsize=(20,8)) # 方法1 pandas画图
# 方法2 matplotlib 画图
import matplotlib.pyplot as plt
## 1. 创建画布
plt.figure(figsize=(20,8),dpi=80)
## 2. 绘制直方图
# plt.hist(movie["Rating"].values)也可以
plt.hist(movie["Rating"],bins=20)
plt.xticks(np.linspace(movie["Rating"].min(),movie["Rating"].max(),21))# 修改刻度
plt.grid(True, linestyle='--', alpha=0.5)# 添加网格
## 3. 显示图像
plt.show()
# 问题3:对于这一组电影数据,如果我们希望统计电影分类(genre)的情况,应该如何处理数据?
# for i in movie["Genre"]:
# print(i)# Action,Adventure,Sci-Fi 这里三个类
movie_genre = [i.split(",") for i in movie["Genre"]]
movie_genre # [['Action', 'Adventure', 'Sci-Fi'],['Adventure', 'Mystery', 'Sci-Fi'],...] 还得再拆开
movie_class = np.unique([ j for i in movie_genre for j in i ])# 类别
movie_class # array(['Action', 'Adventure',...], dtype='
len(movie_class) # 20 个类别
# 统计每个类别有几个电影
count = pd.DataFrame(np.zeros(shape=(1000,20),dtype="int32"),columns=movie_class)
count # 空表
# 计数填表
for i in range(1000):
count.loc[count.index[i],movie_genre[i]] = 1 # 组合索引
count
# 按列求和
count.sum()
count.sum().sort_values(ascending=False).plot(kind="bar", figsize=(20,8),fontsize=20 ,colormap="cool")