pandas入门：描述性统计的概述与计算、相关性和协方差、唯一值、计数和成员属性

描述性统计的概述与计算

pandas对象装配了一个常用函数、统计学方法的集合。其中大部分属于 归约 或 汇总统计 的类别，这些方法从 dataframe 的行或列中抽取一个 series 或 一系列值的单个值（如总和和平均值）。与 numpy 数组中的类似方法相比，它们内建了处理缺失值的功能。考虑一个小型 dataframe

df = pd.DataFrame([[1.4,np.nan],[7.1,-4.5],[np.nan,np.nan],[0.75,-1.3]],index=['a','b','c','d'],columns=['one','two'])
df
      one	two
a	1.40	NaN
b	7.10	-4.5
c	NaN	NaN
d	0.75	-1.3

df.sum()         # 可以传入axis = 'columns' 或 1 ，对各列的值相加。
one    9.25
two   -5.80
dtype: float64

# 除非操作的整行或整列都是 NA，否则NA的值都是自动排除的，可以通过禁用 skipna 来实现不排除NA 值。
df.mean(axis=1)
a    1.400
b    1.300
c      NaN # 这里的两个都是 NA 
d   -0.275
dtype: float64

df.mean(axis=1,skipna=False)
a      NaN        # 有一个NA 就是啦
b    1.300
c      NaN
d   -0.275
dtype: float64

归约方法可选参数	描述
axis	归约轴，0为行，1为列
skipna	排除缺失值，默认是 True
level	如果轴是多层索引的 （ MultiIndex) ，该参数可以缩减分组层级。。

df.idxmax()       # 返回间接统计信息，比如这个最大值的索引
one    b
two    d
dtype: object

df.cumsum()             # 积累型方法。积累列
	one	two
a	1.40	NaN
b	8.50	-4.5
c	NaN	NaN
d	9.25	-5.8


df.describe()             # 这个厉害，一次性产生多个汇总统计
         one	two
count	3.000000	2.000000
mean	3.083333	-2.900000
std	3.493685	2.262742
min	0.750000	-4.500000
25%	1.075000	-3.700000
50%	1.400000	-2.900000          # 额 这是啥。。。。。
75%	4.250000	-2.100000
max	7.100000	-1.300000

obj=pd.Series(['a','a','v','c']*4)        # 对非数值类型的数据，产生另一种汇总统计。
obj.describe()
count     16
unique     3
top        a
freq       8
dtype: object

相关性和协方差

一些汇总统计，比如这相关性和协方差，是由多个参数计算出来的。那么问题来了。。。什么是相关性和协方差呢脑补链接

series 的 corr 方法计算两个series 中重叠的，非NA 的，按索引对齐的值的相关性， cov 就是协方差

frame=pd.DataFrame({'b':[4.3,7,-3,2],'a':[0,1,0,1],'c':[-2,5,8,-2.5]})
frame
b	a	c
0	4.3	0	-2.0
1	7.0	1	5.0
2	-3.0	0	8.0
3	2.0	1	-2.5

frame['b'].corr(frame['a'])
0.5240763713323049

frame['b'].cov(frame['a'])
1.2833333333333332

frame.corr()       # 对 dataframe 的corr cov 方法会分别以 dataframe 的形式返回相关性和协方差矩阵。
       b	a	c
b	1.000000	0.524076	-0.369942
a	0.524076	1.000000	-0.194220
c	-0.369942	-0.194220	1.000000


# 使用 dataframe 的corrwith 方法，可以计算出 dataframe 的行或列与另一个序列或 dataframe 的相关型。
# 该方法传入一个 series 方法时，会返回一个含有为每个列计算出来的相关性。
frame = pd.DataFrame(np.random.randn(4,3),columns=list('bde'),index=['utah','ohio','texas','oregon'])
frame.corrwith(frame['d'])
b   -0.846939
d    1.000000
e    0.442531
dtype: float64

# 传入一个 dataframe 时，会计算匹配到列名的相关性数值，
frame.corrwith(np.abs(frame))
b    0.447732
d   -1.000000
e   -0.462654
dtype: float64           # 应该就是相同列名之间计算

frame2=frame.reindex(['b','d','a'],axis=1)
frame2
	b	d	a
utah	0.492560	-1.186729	NaN
ohio	-0.048141	0.148286	NaN
texas	1.347424	-0.626166	NaN
oregon	0.756698	0.098876	NaN
frame.corrwith(frame2)
frame.corrwith(frame2)
1
frame.corrwith(frame2)
b    1.0
d    1.0
a    NaN
e    NaN
dtype: float64

唯一值、计数和成员属性

obj=pd.Series(['c','a','d','a','a','b','b','c','c'])

obj.unique()                   # 给出 series 中的唯一值
array(['c', 'a', 'd', 'b'], dtype=object)     # 并不是按顺序的，如果需要使用 .sort()

obj.value_counts()      # 这个返回 series 包含的值的个数
a    3
c    3
b    2               # 返回的 按找数量排序
d    1              # 等价于 pd.value_counts(obj.values) 这是一个顶层方法。
dtype: int64


# isin 执行向量化的成员属性检擦，还可以将数据集以sereis dataframe 一列的形式过滤为数据集的子集
mask=obj.isin(['b','c'])
mask
0     True
1    False
2    False
3    False
4    False
5     True
6     True
7     True
8     True
dtype: bool

obj[mask]
0    c
5    b        # 就是筛选出来的子集
6    b
7    c
8    c
dtype: object


# 与 isin 相关的 Index.get_indexer 方法，可以提供一个索引数组，这个数组可以将可能非唯一值数组转换成另一个唯一值数组
to_match=pd.Series(['c','a','b','b','c','a'])
unique_vals=pd.Series(['c','b','a'])
pd.Index(unique_vals).get_indexer(to_match)
array([0, 2, 1, 1, 0, 2], dtype=int64)    # c 0 b 1 a 2 。。。这就很迷

# 计算 dataframe 多个相关列的直方图
data=pd.DataFrame({'qu1':[1,2,4,3,4],'qu2':[2,3,1,2,3],'qu3':[1,5,2,4,4]})
data
 qu1	qu2	qu3
0	1	2	1
1	2	3	5
2	4	1	2
3	3	2	4
4	4	3	4

data.apply(pd.value_counts).fillna(0)
	qu1	qu2	qu3
1	1.0	1.0	1.0
2	1.0	2.0	1.0
3	1.0	2.0	0.0
4	2.0	0.0	2.0        # 这些行标签就是所有列中出现的不同值，数值就是这些不同值在每个列中出现的次数
5	0.0	0.0	1.0