「torch.cosine_smilarity() = 0」引发的关于cpu与gpu精度问题的探讨

前言：2023年11月21日下午16:00 许，本篇博客记录由「torch.cosine_smilarity()计算余弦相似度计算结果为0」现象引发的关于 CPU 与 GPU 计算精度的探索。

事情的起因是，本人在使用 torch.cosine_smilarity() 函数计算GPU上两个特征的余弦相似度时，发现得出的结果为 0，百思不得其解。首先排出特征维度的问题，然后尝试5种不同的相似度计算方法：

• scipy.spatial.distance.cosine
• torch.cosine_similarity
• F.cosine_similarity
• torch.nn.CosineSimilarity
• 基于余弦相似度公式的torch代码

---

整体代码如下：

import torch
torch.set_printoptions(profile="full")
import torch.nn.functional as F
from scipy.spatial.distance import cosine
# device = "cuda" if torch.cuda.is_available() else "cpu"
device = "cpu"

import clip
from PIL import Image
clip_model, processor = clip.load("ViT-L/14", device=device)
srcpath = '/newdata/SD/DEFAKE/data_test/9709_glide.png'
despath = '/newdata/SD/outputs/0_9_sd1.5.png'
src_feature = clip_model.encode_image(processor(Image.open(srcpath)).unsqueeze(0).to(device)).squeeze(0)  
des_feature = clip_model.encode_image(processor(Image.open(despath)).unsqueeze(0).to(device)).squeeze(0)

sim_1 = 1 - cosine(src_feature.cpu(), des_feature.cpu())

sim_2 = torch.cosine_similarity(src_feature, des_feature, dim=0).item()

sim_3 = F.cosine_similarity(src_feature, des_feature, dim=0).item()

cos = torch.nn.CosineSimilarity(dim=0)
sim_4 = cos(src_feature, des_feature).item()

sim_5 = torch.div(torch.sum(src_feature * des_feature,0),torch.sqrt(torch.sum(torch.pow(src_feature,2),0))* torch.sqrt(torch.sum(torch.pow(des_feature,2),0))).item()

print(sim_1, sim_2, sim_3, sim_4, sim_5)
# 0.5302734375 0.0 0.0 0.0 0.53076171875

发现，上述代码在CPU和GPU上运行结果不一致：

上述代码在 CPU 上的运行结果为：

0.5301393270492554
0.5301393270492554
0.5301393270492554
0.5301393270492554
0.5301393270492554

上述代码在 GPU 上的运行结果为：

0.5302734375
0.0
0.0
0.0
0.53076171875

这是一个很有意思的现象，在CPU上计算出的5种相似度结果惊人一致，而在GPU上计算出的5种相似度结果中，中间三种基于torch函数调用的方式计算结果均为0，而第一种首先将特征搬运到CPU上然后使用scipy.spatial.distance.cosine()函数的计算结果和第五种直接在GPU上使用基于余弦相似度公式的torch代码的计算结果又与CPU上计算出的结果各有不同。

---

然后，我把由 CLIP 预训练模型提取的两张图像的特征（维度为768维） src_feature 和 des_feature 换成两个随机初始化的张量 ，其余代码不变：

# import clip
# from PIL import Image
# clip_model, processor = clip.load("ViT-L/14", device=device)
# srcpath = '/newdata/SD/DEFAKE/data_test/9709_glide.png'
# despath = '/newdata/SD/outputs/0_9_sd1.5.png'
# src_feature = clip_model.encode_image(processor(Image.open(srcpath)).unsqueeze(0).to(device)).squeeze(0)  
# des_feature = clip_model.encode_image(processor(Image.open(despath)).unsqueeze(0).to(device)).squeeze(0)

# 将上面代码注释掉，换为：

src_featre = torch.tensor([1.0, 2.0, 3.0])
des_feature = torch.tensor([4.0, 5.0, 6.0])

可见上述示例代码在CPU和GPU上运行结果是一致的：

上述代码在 CPU 上的运行结果为：

0.9746318459510803
0.9746317863464355
0.9746317863464355
0.9746317863464355
0.9746317863464355

上述代码在 GPU 上的运行结果为：

0.9746318459510803
0.9746317863464355
0.9746317863464355
0.9746317863464355
0.9746317863464355

由上述结果可以发现，第一种基于scipy.spatial.distance.cosine()函数的计算结果与其余四组基于torch的计算结果略有不同，说明后四种方法实现的底层逻辑应该是类似的，但由于给定特征的某些不可知原因，有时会出现中间三种基于torch函数调用的方法结果为0的情况，所以保险起见，如果要使用基于torch的计算方法，首选第5种相似度计算方法，当然，时间允许的情况下，直接在CPU上使用第一种方法无疑是精度最高的计算方法。

---

接下来放一个时间对比图（如下），可见在GPU上使用最后一种计算方法效率最高，在CPU上使用第一种方法效率最低。

time for spicy(gpu):  0.004714250564575195, [0.5361, 0.5303, 0.5220, 0.5059, 0.5430, 0.5469, 0.5078, 0.5293, 0.5283, 0.5337]
time for torch(gpu): 0.0005323886871337891, [0.5361, 0.5308, 0.5225, 0.5063, 0.5435, 0.5469, 0.5078, 0.5298, 0.5283, 0.5332]
time for spicy(cpu):  0.009323358535766602, [0.5358, 0.5301, 0.5222, 0.5060, 0.5426, 0.5467, 0.5077, 0.5298, 0.5279, 0.5333]
time for torch(cpu): 0.0025298595428466797, [0.5358, 0.5301, 0.5222, 0.5060, 0.5426, 0.5467, 0.5077, 0.5298, 0.5279, 0.5333]

---

PS：鉴于第一种方法无法进行余弦相似度的批量计算（1vN计算），追求速度的话，还是选择第五种方法吧～ 附赠批量计算方法：

src_feature = clip_model.encode_image(processor(Image.open(srcpath)).unsqueeze(0).to(device))  # [1,768]
des_features = torch.stack([clip_model.encode_image(processor(Image.open(path)).unsqueeze(0).to(device)) for path in despaths]).squeeze(1)  # [N,768]
sims = torch.div(torch.sum(src_feature * des_features,1),torch.sqrt(torch.sum(torch.pow(src_feature,2),1))* torch.sqrt(torch.sum(torch.pow(des_features,2),1)))  # 长度为N的张量
sims = sims.cpu().detach().numpy().tolist()  # 转化为列表，方便计算

---

参考资料

1. GPU和CPU计算上的精度差异_cpu和gpu训练结果不同-CSDN博客