clip代码详解

代码地址:https://github.com/lucidrains/DALLE2-pytorch

不需要准备数据就能运行,适合只查看源码运行流程

注意:配置环境时需要新建环境,下载dalle2-pytorch会自动卸载原环境的pytorch

1.数据及流程 

        CLIP整体流程如下,首先对图像提特征、对文本提特征,并进行配对,计算出余弦相似度,另外,图像自身和文本自身进行自监督学习,因此loss函数有3个部分,包含图像的自监督学习、文本的自监督学习以及图像和文本的配对 

       clip代码详解_第1张图片  

2.图像特征提取损失和文本特征提取损失

        在图像的特征提取中,分别对图像进行两种不同的数据增强q,k,并传入VIT进行特征提取。   

clip代码详解_第2张图片

代码如下:

class SimCLR(nn.Module):
    def __init__(
        self,
        net,
        image_size,
        channels = 3,
        hidden_layer = -2,
   

你可能感兴趣的:(对比学习,深度学习,人工智能,计算机视觉,神经网络)