相关系数矩阵与热力图heatmap(Python高级可视化库seaborn)

相关系数矩阵

通常，样本是由多维特征的构成的，把每个特征维度都看成一个随机变量，为了考查两两特征间的关系，可以借助随机变量的协方差。

协方差是对两个随机变量联合分布线性相关程度的一种度量。

cov(Xi,Xj)=E[(Xi−E(Xi))(Xj−E(Xj))]var(Xi)=E[(Xi−E(Xi))2]var(Xj)=E[(Xj−E(Xj))2] c o v ( X i , X j ) = E [ ( X i − E ( X i ) ) ( X j − E ( X j ) ) ] v a r ( X i ) = E [ ( X i − E ( X i ) ) 2 ] v a r ( X j ) = E [ ( X j − E ( X j ) ) 2 ]

由于随机变量的取值范围不同，没有可比性，对其进行归一化处理，得到相关系数

η=cov(Xi,Xj)var(Xi)⋅var(Xj)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√ η = c o v ( X i , X j ) v a r ( X i ) ⋅ v a r ( X j )

其中， |η|≤1 | η | ≤ 1 ： 1 1 表示随机变量 Xi X i 和 Xj X j 完全线性正相关； −1 − 1 表示随机变量 Xi X i 和 Xj X j 完全线性负相关； 0 0 表示随机变量 Xi X i 和 Xj X j 线性无关，但是线性无关并不代表完全无关。

样本(共 m m 个)随机变量 X=[X1,X2,⋯,Xn]T X = [ X 1 , X 2 , ⋯ , X n ] T ，第 k k 个样本为 {xk.=[xk1,xk2,⋯,xkn]T|1≤k≤m} { x k . = [ x k 1 , x k 2 , ⋯ , x k n ] T | 1 ≤ k ≤ m } 。则任意两个维度特征的协方差为

cov(Xi,Xj)=∑k=1m(xki−x.i⎯⎯⎯⎯⎯)(xkj−x.j⎯⎯⎯⎯⎯)m−1 c o v ( X i , X j ) = ∑ k = 1 m ( x k i − x . i ¯ ) ( x k j − x . j ¯ ) m − 1

分母是 m−1 m − 1 是因为随机变量的数学期望未知，用“样本均值”代替，自由度减1。

利用numpy的corrcoef可以计算关系矩阵

np.corrcoef(a)可计算行与行之间的相关系数
np.corrcoef(a,rowvar=0)用于计算列与列之间的相关系数

import numpy as np
a=np.array([[1, 1, 2, 2, 3], [2, 2, 3, 3, 5], [1, 4, 2, 2, 3]]) 
a

np.corrcoef(a)

np.corrcoef(a,rowvar=0)

应用公式0.5*value+0.5可以将相关系数矩阵的值域由[-1,1]映射为[0,1]

np.corrcoef(a,rowvar=0)*0.5+0.5 

热力图

利用热力图可以看数据表里多个特征两两的相似度。参考官方API参数及地址：

seaborn.heatmap(data, vmin=None, vmax=None, cmap=None, center=None, robust=False, annot=None, fmt=’.2g’, annot_kws=None, linewidths=0, linecolor=’white’, cbar=True, cbar_kws=None, cbar_ax=None, square=False, xticklabels=’auto’, yticklabels=’auto’, mask=None, ax=None, **kwargs)

http://seaborn.pydata.org/generated/seaborn.heatmap.html#seaborn.heatmap

热力图输入数据参数:
data:矩阵数据集，可以是numpy的数组（array），也可以是pandas的DataFrame。如果是DataFrame，则df的index/column信息会分别对应到heatmap的columns和rows，即pt.index是热力图的行标，pt.columns是热力图的列标

热力图矩阵块颜色参数:
vmax,vmin:分别是热力图的颜色取值最大和最小范围，默认是根据data数据表里的取值确定
cmap:从数字到色彩空间的映射，取值是matplotlib包里的colormap名称或颜色对象，或者表示颜色的列表；改参数默认值：根据center参数设定
center:数据表取值有差异时，设置热力图的色彩中心对齐值；通过设置center值，可以调整生成的图像颜色的整体深浅；设置center数据时，如果有数据溢出，则手动设置的vmax、vmin会自动改变
robust:默认取值False；如果是False，且没设定vmin和vmax的值，热力图的颜色映射范围根据具有鲁棒性的分位数设定，而不是用极值设定

热力图矩阵块注释参数:
annot(annotate的缩写):默认取值False；如果是True，在热力图每个方格写入数据；如果是矩阵，在热力图每个方格写入该矩阵对应位置数据
fmt:字符串格式代码，矩阵上标识数字的数据格式，比如保留小数点后几位数字
annot_kws:默认取值False；如果是True，设置热力图矩阵上数字的大小颜色字体，matplotlib包text类下的字体设置；官方文档：https://matplotlib.org/api/text_api.html#matplotlib.text.Text

热力图矩阵块之间间隔及间隔线参数：
linewidths:定义热力图里“表示两两特征关系的矩阵小块”之间的间隔大小
linecolor:切分热力图上每个矩阵小块的线的颜色，默认值是’white’

热力图颜色刻度条参数：
cbar:是否在热力图侧边绘制颜色刻度条，默认值是True
cbar_kws:热力图侧边绘制颜色刻度条时，相关字体设置，默认值是None
cbar_ax:热力图侧边绘制颜色刻度条时，刻度条位置设置，默认值是None

square:设置热力图矩阵小块形状，默认值是False
xticklabels, yticklabels:xticklabels控制每列标签名的输出；yticklabels控制每行标签名的输出。默认值是auto。如果是True，则以DataFrame的列名作为标签名。如果是False，则不添加行标签名。如果是列表，则标签名改为列表中给的内容。如果是整数K，则在图上每隔K个标签进行一次标注。 如果是auto，则自动选择标签的标注间距，将标签名不重叠的部分(或全部)输出
mask:控制某个矩阵块是否显示出来。默认值是None。如果是布尔型的DataFrame，则将DataFrame里True的位置用白色覆盖掉
ax:设置作图的坐标轴，一般画多个子图时需要修改不同的子图的该值
**kwargs:All other keyword arguments are passed to ax.pcolormesh

首先造一个数据表：

import seaborn as sns
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
% matplotlib inline

region = ['Azerbaijan','Bahamas', 'Bangladesh', 'Belize', 'Bhutan',
          'Cambodia', 'Cameroon', 'Cape Verde', 'Chile', 'China']   #10个

kind = ['Afforestation & reforestation', 'Biofuels', 'Biogas', 'Biomass', 'Cement']   #5个

np.random.seed(20180316)
arr_region = np.random.choice(region, size=(200,))
list_region = list(arr_region)

arr_kind = np.random.choice(kind, size=(200,))
list_kind = list(arr_kind)

values = np.random.randint(100, 200, 200)
list_values = list(values)

df = pd.DataFrame({'region':list_region,'kind': list_kind,'values':list_values})
df

df['kind'].value_counts()

将DataFrame数据表转化成“数据透视表”

import pandas as pd
pt = df.pivot_table(index='kind', columns='region', values='values', aggfunc=np.sum)   #数据透视表
pt   #index是行，columns是列，values是表中展示的数据，aggfunc是表中展示每组数据使用的运算

热力图矩阵块颜色参数

#cmap(颜色)

import matplotlib.pyplot as plt
% matplotlib inline

f, (ax1,ax2) = plt.subplots(figsize = (6,4),nrows=2)

# cmap用cubehelix map颜色
cmap = sns.cubehelix_palette(start = 1.5, rot = 3, gamma=0.8, as_cmap = True)
sns.heatmap(pt, linewidths = 0.05, ax = ax1, vmax=900, vmin=0, cmap=cmap)
ax1.set_title('cubehelix map')
ax1.set_xlabel('')
ax1.set_xticklabels([]) #设置x轴图例为空值
ax1.set_ylabel('kind')

# cmap用matplotlib colormap
sns.heatmap(pt, linewidths = 0.05, ax = ax2, vmax=900, vmin=0, cmap='rainbow') 
# rainbow为 matplotlib 的colormap名称
ax2.set_title('matplotlib colormap')
ax2.set_xlabel('region')
ax2.set_ylabel('kind')

#center的用法(颜色)

f, (ax1,ax2) = plt.subplots(figsize = (6, 4),nrows=2)

cmap = sns.cubehelix_palette(start = 1.5, rot = 3, gamma=0.8, as_cmap = True)
sns.heatmap(pt, linewidths = 0.05, ax = ax1, cmap=cmap, center=None )
ax1.set_title('center=None')
ax1.set_xlabel('')
ax1.set_xticklabels([]) #设置x轴图例为空值
ax1.set_ylabel('kind')

# 当center设置小于数据的均值时，生成的图片颜色要向0值代表的颜色一段偏移
sns.heatmap(pt, linewidths = 0.05, ax = ax2, cmap=cmap, center=200)   
ax2.set_title('center=3000')
ax2.set_xlabel('region')
ax2.set_ylabel('kind')

#robust的用法(颜色)

f, (ax1,ax2) = plt.subplots(figsize = (6,4),nrows=2)

cmap = sns.cubehelix_palette(start = 1.5, rot = 3, gamma=0.8, as_cmap = True)

sns.heatmap(pt, linewidths = 0.05, ax = ax1, cmap=cmap, center=None, robust=False )
ax1.set_title('robust=False')
ax1.set_xlabel('')
ax1.set_xticklabels([]) #设置x轴图例为空值
ax1.set_ylabel('kind')

sns.heatmap(pt, linewidths = 0.05, ax = ax2, cmap=cmap, center=None, robust=True ) 
ax2.set_title('robust=True')
ax2.set_xlabel('region')
ax2.set_ylabel('kind')

热力图矩阵块注释参数

#annot(矩阵上数字),annot_kws(矩阵上数字的大小颜色字体)matplotlib包text类下的字体设置

import numpy as np
np.random.seed(20180316)
x = np.random.randn(4, 4)

f, (ax1, ax2) = plt.subplots(figsize=(6,6),nrows=2)

sns.heatmap(x, annot=True, ax=ax1)

sns.heatmap(x, annot=True, ax=ax2, annot_kws={'size':9,'weight':'bold', 'color':'blue'})
# Keyword arguments for ax.text when annot is True. http://stackoverflow.com/questions/35024475/seaborn-heatmap-key-words

#fmt(字符串格式代码，矩阵上标识数字的数据格式，比如保留小数点后几位数字)

import numpy as np
np.random.seed(0)
x = np.random.randn(4,4)

f, (ax1, ax2) = plt.subplots(figsize=(6,6),nrows=2)

sns.heatmap(x, annot=True, ax=ax1)

sns.heatmap(x, annot=True, fmt='.1f', ax=ax2)

热力图矩阵块之间间隔及间隔线参数

#linewidths(矩阵小块的间隔),linecolor(切分热力图矩阵小块的线的颜色)

import matplotlib.pyplot as plt
f, ax = plt.subplots(figsize = (6,4))
cmap = sns.cubehelix_palette(start = 1, rot = 3, gamma=0.8, as_cmap = True)   
sns.heatmap(pt, cmap = cmap, linewidths = 0.05, linecolor= 'red', ax = ax)   
ax.set_title('Amounts per kind and region')
ax.set_xlabel('region')
ax.set_ylabel('kind')

#xticklabels，yticklabels横轴和纵轴的标签名输出

import matplotlib.pyplot as plt
f, (ax1,ax2) = plt.subplots(figsize = (5,5),nrows=2)

cmap = sns.cubehelix_palette(start = 1.5, rot = 3, gamma=0.8, as_cmap = True)

p1 = sns.heatmap(pt, ax=ax1, cmap=cmap, center=None, xticklabels=False)
ax1.set_title('xticklabels=None',fontsize=8)

p2 = sns.heatmap(pt, ax=ax2, cmap=cmap, center=None, xticklabels=2, yticklabels=list(range(5))) 
ax2.set_title('xticklabels=2, yticklabels is a list',fontsize=8)
ax2.set_xlabel('region')

#mask对某些矩阵块的显示进行覆盖

f, (ax1,ax2) = plt.subplots(figsize = (5,5),nrows=2)

cmap = sns.cubehelix_palette(start = 1.5, rot = 3, gamma=0.8, as_cmap = True)

p1 = sns.heatmap(pt, ax=ax1, cmap=cmap, xticklabels=False, mask=None)
ax1.set_title('mask=None')
ax1.set_ylabel('kind')

p2 = sns.heatmap(pt, ax=ax2, cmap=cmap, xticklabels=True, mask=(pt<800))   
#mask对pt进行布尔型转化,结果为True的位置用白色覆盖
ax2.set_title('mask: boolean DataFrame')
ax2.set_xlabel('region')
ax2.set_ylabel('kind')

用mask实现：突出显示某些数据

f,(ax1,ax2) = plt.subplots(figsize=(4,6),nrows=2)
x = np.array([[1,2,3],[2,0,1],[-1,-2,0]])
sns.heatmap(x, annot=True, ax=ax1)
sns.heatmap(x, mask=x < 1, ax=ax2, annot=True, annot_kws={"weight": "bold"})   #把小于1的区域覆盖掉