python计算两组数据的相关性_关于python：使用.corr获取两列之间的相关性
我有以下熊猫数据框Top15：
我创建了一个列来估计每个人的可引用文档数：
1
2Top15['PopEst'] = Top15['Energy Supply'] / Top15['Energy Supply per Capita']
Top15['Citable docs per Capita'] = Top15['Citable documents'] / Top15['PopEst']
我想知道人均可引用文件数量与人均能源供应之间的关系。所以我使用了.corr()方法(皮尔逊相关法)：
1
2data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
correlation = data.corr(method='pearson')
我想返回一个数字，但结果是：
我认为你是对的。但是你能告诉我为什么"data.corr(method='pearson')"只返回能源供应和能源供应之间的关系吗？
它没有。它应该返回一个2x2矩阵；显示其左上角的条目。如果直接将.corr应用于数据帧，它将返回所有的成对相关性；这就是为什么您随后在矩阵的对角线处观察1s(每列与自身完全相关)。见下面我的编辑。
如果你认为答案已经回答了你的问题，请考虑接受它。
我接受了你的回答，谢谢
我找不到你说的按钮。我只是按你答案旁边的上箭头
这个问题直接来源于课程"Python数据科学导论"课程。具体来说，作业3，问题9。当指导老师克里斯·布鲁克斯鼓励学生们把问题堆得满满的时候，我不认为他是说他们应该逐字地把作业中的问题贴出来。
如果没有实际的数据，很难回答这个问题，但我想您正在寻找这样的问题：
1Top15['Citable docs per Capita'].corr(Top15['Energy Supply per Capita'])
它计算两列'Citable docs per Capita'和'Energy Supply per Capita'之间的相关性。
举个例子：
1
2
3
4
5
6
7
8
9import pandas as pd
df = pd.DataFrame({'A': range(4), 'B': [2*i for i in range(4)]})
A B
0 0 0
1 1 2
2 2 4
3 3 6
然后
1df['A'].corr(df['B'])
按预期给予1。
现在，如果您更改一个值，例如
1
2
3
4
5
6
7df.loc[2, 'B'] = 4.5
A B
0 0 0.0
1 1 2.0
2 2 4.5
3 3 6.0
命令
1df['A'].corr(df['B'])
收益率
10.99586
它仍然接近1，如预期的那样。
如果直接将.corr应用于数据帧，它将返回列之间的所有成对关联；这就是为什么您随后在矩阵的对角线处观察1s(每个列与自身完全关联)。
1df.corr()
因此将返回
1
2
3A B
A 1.000000 0.995862
B 0.995862 1.000000
在您展示的图形中，仅表示相关矩阵的左上角(我假设)。
有些情况下，您的解决方案中可能会有NaNs—请查看本文中的示例。
如果要筛选高于/低于某个阈值的条目，可以检查此问题。如果你想绘制一个相关系数的热图，你可以检查这个答案，然后如果你遇到重叠轴标签的问题，检查下面的文章。
这可以按行应用吗？
@厄运博士：是的，它只需要一系列，例如，df.loc[1, :].corr(df.loc[2, :])也可以。对于整个数据帧，您可以简单地转置：df.T.corr()。
不过，我尝试了您的建议，即使在使用df.loc[2，'b']=4.5更改了B列中的A值之后，计算仍然返回1。也许我只是对计算有点困惑
@厄运博士：很难帮助，因为我不知道你的密码。我是否正确理解，我上面的例子在您的案例中返回了1，而不是0.99586？
是的，我用了你的密码。它总是返回1
尝试将pandas导入为pd import numpy作为np示例df=pd.dataframe(np.random.randn(5，5)，np.arange(5))打印示例df.iloc[1，：]打印示例df.iloc[2，：]打印示例df.iloc[1，：]corr(示例df.iloc[2，：])
@厄运博士：不能繁殖。用np.random.seed(0)我得到0.771616539283。你能试试这个种子吗？
让我们在聊天中继续讨论。
因为数据集是维度500*10，所以dataset.corr()应该给出矩阵10*10的输出，但是它给出的输出矩阵是1*1…为什么？
@劳拉：不知道你的数据很难说。也许你可以打开一个新的问题，并以此作为参考！？确保包括一个可重复的例子。
我也遇到了同样的问题。似乎Citable Documents per Person是一个float，而python默认情况下会跳过它。我的数据框架中的所有其他列都是numpy格式，所以我通过将columnt转换为np.float64来解决这个问题。
1Top15['Citable Documents per Person']=np.float64(Top15['Citable Documents per Person'])
记住这正是你自己计算的列
工作原理如下：
1
2
3
4
5Top15['Citable docs per Capita']=np.float64(Top15['Citable docs per Capita'])
Top15['Energy Supply per Capita']=np.float64(Top15['Energy Supply per Capita'])
Top15['Energy Supply per Capita'].corr(Top15['Citable docs per Capita'])
我的解决方案是将数据转换为数字类型：
1Top15[['Citable docs per Capita','Energy Supply per Capita']].corr()
当你称之为：
1
2data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
correlation = data.corr(method='pearson')
因为dataframe.corr()函数执行逐对关联，所以有两个变量中的四对。所以，基本上，你得到的是对角线值作为自相关(与自身相关，因为你有两个变量，所以有两个值)，另外两个值作为一个和另一个的交叉相关，反之亦然。
在两个序列之间执行相关性以获取单个值：
1
2
3
4from scipy.stats.stats import pearsonr
docs_col = Top15['Citable docs per Capita'].values
energy_col = Top15['Energy Supply per Capita'].values
corr , _ = pearsonr(docs_col, energy_col)
或者，如果要从同一个函数(数据帧的corr)获取单个值：
1single_value = correlation[0][1]
希望这有帮助。
如果需要所有列对之间的关联，可以这样做：
1
2
3
4
5
6
7
8
9
10
11
12import pandas as pd
import numpy as np
def get_corrs(df):
col_correlations = df.corr()
col_correlations.loc[:, :] = np.tril(col_correlations, k=-1)
cor_pairs = col_correlations.stack()
return cor_pairs.to_dict()
my_corrs = get_corrs(df)
# and the following line to retrieve the single correlation
print(my_corrs[('Citable docs per Capita','Energy Supply per Capita')])
我通过更改数据类型解决了这个问题。如果你看到"人均能源供应"是一个数字类型，"人均可引用文件"是一个对象类型。我使用astype将列转换为float。我对一些np函数也有同样的问题：count_nonzero和sum工作，而mean和std不工作。