Pandas的高级操作

1、缺失值处理

1 如何处理nan
判断数据是否为NaN：

> pd.isnull(df), 
> pd.notnull(df)

处理方式：

	存在缺失值nan,并且是np.nan:
	
			1、删除存在缺失值的:dropna(axis='rows')
	
				注：不会修改原数据，需要接受返回值
			2、替换缺失值:fillna(value, inplace=True)
	
					value:替换成的值

				inplace:True:会修改原数据，False:不替换修改原数据，生成新的对象
	
	不是缺失值nan，有默认标记的

2 电影数据的缺失值处理
电影数据文件获取

# 读取电影数据
movie = pd.read_csv("./data/IMDB-Movie-Data.csv")		

2.1 判断缺失值是否存在
pd.notnull()

pd.notnull(movie)
np.all(pd.notnull(movie))

2.2 存在缺失值nan,并且是np.nan
1、删除
pandas删除缺失值，使用dropna的前提是，缺失值的类型必须是np.nan

# 不修改原数据
movie.dropna()

# 可以定义新的变量接受或者用原来的变量名
data = movie.dropna()

2、替换缺失值

# 替换存在缺失值的样本的两列
# 替换填充平均值，中位数
# movie['Revenue (Millions)'].fillna(movie['Revenue (Millions)'].mean(), inplace=True)

替换所有缺失值：

for i in movie.columns:
    if np.all(pd.notnull(movie[i])) == False:
        print(i)
        movie[i].fillna(movie[i].mean(), inplace=True)

2.3 不是缺失值nan，有默认标记的
数据是这样的：

wis = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data")

以上数据在读取时，可能会报如下错误：

URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:833)>

解决办法：

# 全局取消证书验证
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

处理思路分析：

1、先替换‘?’为np.nan

df.replace(to_replace=, value=)
		to_replace:替换前的值
		value:替换后的值

# 把一些其它值标记的缺失值，替换成np.nan
wis = wis.replace(to_replace='?', value=np.nan)

2、在进行缺失值的处理

# 删除
wis = wis.dropna()

2、数据离散化

1 为什么要离散化
连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。

2 什么是数据的离散化
连续属性的离散化就是在连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间中的属性值。

离散化有很多种方法，这使用一种最简单的方式去操作

原始人的身高数据：165，174，160，180，159，163，192，184
假设按照身高分几个区间段：150~165, 165_180,180195
这样我们将数据分到了三个区间段，我可以对应的标记为矮、中、高三个类别，最终要处理成一个"哑变量"矩阵

3 股票的涨跌幅离散化
我们对股票每日的"p_change"进行离散化

3.1 读取股票的数据
先读取股票的数据，筛选出p_change数据

data = pd.read_csv("./data/stock_day.csv")
p_change= data['p_change']

3.2 将股票涨跌幅数据进行分组

使用的工具：

pd.qcut(data, q)：
	对数据进行分组将数据分组 一般会与value_counts搭配使用，统计每组的个数
	
series.value_counts()：统计分组次数

# 自行分组
qcut = pd.qcut(p_change, 10)
# 计算分到每个组数据个数
qcut.value_counts()

自定义区间分组：

pd.cut(data, bins)

# 自己指定分组区间
bins = [-100, -7, -5, -3, 0, 3, 5, 7, 100]
p_counts = pd.cut(p_change, bins)

3.3 股票涨跌幅分组数据变成one-hot编码
什么是one-hot编码
把每个类别生成一个布尔列，这些列中只有一列可以为这个样本取值为1.其又被称为热编码。

把下图中左边的表格转化为使用右边形式进行表示：

pandas.get_dummies(data, prefix=None)

	data:array-like, Series, or DataFrame
	
	prefix:分组名字

# 得出one-hot编码矩阵
dummies = pd.get_dummies(p_counts, prefix="rise")

3.合并

如果你的数据由多张表组成，那么有时候需要将不同的内容合并在一起分析**

1 pd.concat实现数据合并

pd.concat([data1, data2], axis=1)
	按照行或列进行合并,axis=0为列索引，axis=1为行索引

比如我们将刚才处理好的one-hot编码与原数据合并

# 按照行索引进行
pd.concat([data, dummies], axis=1)

2 pd.merge

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None)
		可以指定按照两组数据的共同键值对合并或者左右各自
		left: A DataFrame object
		right: Another DataFrame object
		on: Columns (names) to join on. Must be found in both the left and right DataFrame objects.
		left_on=None, right_on=None：指定左右键

2.1 pd.merge合并
left = pd.DataFrame({‘key1’: [‘K0’, ‘K0’, ‘K1’, ‘K2’],
‘key2’: [‘K0’, ‘K1’, ‘K0’, ‘K1’],
‘A’: [‘A0’, ‘A1’, ‘A2’, ‘A3’],
‘B’: [‘B0’, ‘B1’, ‘B2’, ‘B3’]})

right = pd.DataFrame({‘key1’: [‘K0’, ‘K1’, ‘K1’, ‘K2’],
‘key2’: [‘K0’, ‘K0’, ‘K0’, ‘K0’],
‘C’: [‘C0’, ‘C1’, ‘C2’, ‘C3’],
‘D’: [‘D0’, ‘D1’, ‘D2’, ‘D3’]})

# 默认内连接
result = pd.merge(left, right, on=['key1', 'key2'])

左连接
result = pd.merge(left, right, how=‘left’, on=[‘key1’, ‘key2’])

右连接
result = pd.merge(left, right, how=‘right’, on=[‘key1’, ‘key2’])

外链接
result = pd.merge(left, right, how=‘outer’, on=[‘key1’, ‘key2’])

4、交叉表和透视表

交叉表：交叉表用于计算一列数据对于另外一列数据的分组个数(寻找两个列之间的关系)

	pd.crosstab(index, columns)
	index: 交叉表的行索引(分组数据), 可以数组, Series 或 数组, Series 的列表;
	columns: 交叉的列索引(统计数据), 可以数组, Series 或 数组, Series 的列表;
	透视表: 透视表用于计算一类数据对于另外一列数据分组统计, 默认统计均值.
	
DataFrame.pivot_table(values=None, index=None, aggfunc='mean')

	values：源数据中的列名或一组列名 ，数据透视表中用于观察分析的数据值
	
	index：源数据中的列名或一组列名 ，数据透视表用于行索引的数据值
	
	aggfunc：根据当前的行、列索引生成的数据透视表中有多个数据需要进行聚合时，对这多个数据需要进行的操作，默认为np.mean()

注意：交叉表基于ｐｄ，透视表基于ＤａｔａＦｒａｍｅ

3.1 数据准备
准备两列数据，星期数据以及涨跌幅是好是坏数据
进行交叉表计算

# 寻找星期几跟股票张得的关系
# 1、先把对应的日期找到星期几
# to_datatime表示转换数据类型为日期类型，对应有.weekday（得出为星期几）和.month(得出在几月份)等方法
date = pd.to_datetime(data.index).weekday
data['week'] = date

# 2、假如把p_change按照大小去分个类0为界限
data['posi_neg'] = np.where(data['p_change'] > 0, 1, 0)

# 通过交叉表找寻两列数据的关系
count = pd.crosstab(data['week'], data['posi_neg'])
# 逻辑：统计出每个星期几，涨和跌的个数

对于每个星期一等的总天数求和，运用除法运算求出比例
# 算数运算，先求和
sum = count.sum(axis=1).astype(np.float32)

# 进行相除操作，得出比例
pro = count.div(sum, axis=0)

3.2 查看效果
使用plot画出这个比例，使用stacked的柱状图

# stacked=True表示以比例展示
pro.plot(kind='bar', stacked=True)
plt.show()

3.3 使用pivot_table(透视表)实现
透视表表示可以从不同的角度看表内数据
使用透视表，刚才的过程更加简单

# 通过透视表，将整个过程变成更简单一些
data.pivot_table(['posi_neg'], index='week')

分别统计男女的平均年龄,默认是算的平均mean
datas.pivot_table(values=‘年齡’,index=‘性别’)

如果要算总年龄
datas.pivot_table(values=‘年齡’,index=‘性别’,aggfunc=‘sum’)

统计男女的数量
datas.pivot_table(values=‘年齡’,index=‘性别’,aggfunc=‘count’)

分别统计黄金会员和白银会员的平均年龄
datas.pivot_table(values=‘年齡’,index=‘会员等级’,aggfunc=‘mean’)

api方法查看

# 如果要查看ａｐｉ内有哪些方法可以dir(方法)
dir(pd.to_datetime(data.index))
help(api)

5.分类和聚合

分组与聚合通常是分析数据的一种方式，通常与一些统计函数一起使用，查看数据的分组情况

想一想其实刚才的交叉表与透视表也有分组的功能，所以算是分组的一种形式，只不过他们主要是计算次数或者计算比例

1 什么是分组与聚合

2 分组API
DataFrame.groupby(key, as_index=False)
key:分组的列数据，可以多个
as_index:表示是否使用key作为索引
案例:不同颜色的不同笔的价格数据

col =pd.DataFrame({'color': ['white','red','green','red','green'], 'object': ['pen','pencil','pencil','ashtray','pen'],'price1':[5.56,4.20,1.30,0.56,2.75],'price2':[4.75,4.12,1.60,0.75,3.15]})


color    object    price1    price2
0    white    pen    5.56    4.75
1    red    pencil    4.20    4.12
2    green    pencil    1.30    1.60
3    red    ashtray    0.56    0.75
4    green    pen    2.75    3.15

进行分组，对颜色分组，price进行聚合

# 分组，求平均值
col.groupby(['color'])['price1'].mean()
col['price1'].groupby(col['color']).mean()

color
green    2.025
red      2.380
white    5.560
Name: price1, dtype: float64

# 分组，数据的结构不变
col.groupby(['color'], as_index=False)['price1'].mean()

color    price1
0    green    2.025
1    red    2.380
2    white    5.560