我们常说的相关系数指得就是皮尔逊(pearson)相关系数。
条件一:我们的样本数据必须满足正态分布。
条件二:样本数据是连续的且数据之间的差异不能太大(不能包含离群点或异常值)。
条件三:每组样本之间相互独立。
条件四:皮尔逊相关系数有效的前提是两组数据(两个对象)之间呈线性关系。
使用EXCEL或者SPSS(对象很多)或者matlab绘制散点图来看是否存在线性关系,并看数据是否连续,有无离群点。
正态分布检验:雅克‐贝拉检验(Jarque‐Bera test) 和Shapiro‐wilk夏皮洛‐威尔克检验以及Q-Q图
1)JB检验:MATLAB中进行JB检验的语法:[h,p] = jbtest(x,alpha)。
JB检验是大样本检验(n>30)
注解:
h返回0或1,1表示拒绝原假设,0表示接受原假设,且H0:该随机变量服从正态分布,H1:该随机变量不服从正态分布。
p返回P值。
x是数据向量。
alpha是显著性水平,一般0.05。
2)Shapiro‐wilk检验:Shapiro‐wilk检验是小样本检验(3≤n≤50)
SPSS操作。分析->描述统计->探索->图->含检验的正态图。得到P值,P值<0.05表示拒绝原假设即随机变量不服从正态分布。
3)Q-Q图:要利用Q‐Q图鉴别样本数据是否近似于正态分布,只需看Q‐Q图上的点是否近似地在一条直线附近。(要求数据量非常大)
MATLAB函数qqplot(x):x是数据向量。
MATLAB的corrcoef函数。
R = corrcoef(A)
返回 A 的相关系数的矩阵,其中 A 的列表示随机变量(指标),行表示观测值(样本)。
R = corrcoef(A,B)
返回两个随机变量 A 和 B (两个向量)之间的相关系数。
1)MATLAB一行代码:[R,P] = corrcoef(Test)
R返回的是相关系数表,P返回的是对应于每个相关系数的p值
p值小于0.05说明在95%置信水平上拒绝原假设即相关系数显著异于0。
2)SPSS也可生成相关系数表,并且有显著性标记
步骤:分析->相关->双变量->皮尔逊
spearman等级相关系数的定义有两种,MATLAB使用的定义是:斯皮尔曼相关系数被定义成等级之间的皮尔逊相关系数。等级按照从小到大排序。
MATLAB使用函数:corr(X , Y , ‘type’ , ‘Spearman’)或corr(X , ‘type’ , ‘Spearman’)分别表示两个列向量的spearman等级相关系数和X矩阵各列之间的spearman等级相关系数。
分为小样本和大样本两种情况:
小样本情况,即 <=时,直接查临界值表即可。
当相关系数大于临界值说明相关系数显著异于0即显著相关
MATLAB函数[R,P]=corr(X, ‘type’ , ‘Spearman’) //直接给出P值
P值小于0.05则拒绝原假设 即 相关系数 和 0 有显著性差异。
满足皮尔逊相关系数的使用条件和检验条件则使用皮尔逊相关系数。
只要其中一个条件不满足则使用斯皮尔曼等级相关系数。另外两个定序数据之间的相关系数求解也用斯皮尔曼。斯皮尔曼相关系数的适用条件比皮尔逊相关系数要广。
//定序数据:其反映在某一指标下观测对象的等级,排名,优劣等,可用数字和文字表示,但不能参与运算,所以只能用斯皮尔曼等级相关系数。
学数学建模可关注B站的清风数学建模,是个较好的途经去了解学习数学建模(亲测)。