VCED项目理论学习及代码实现（待更新）

项目开源地址：GitHub - datawhalechina/vced: VCED 可以通过你的文字描述来自动识别视频中相符合的片段进行视频剪辑。该项目基于跨模态搜索与向量检索技术搭建，通过前后端分离的模式，帮助你快速的接触新一代搜索技术。

---

CLIP(Connecting Text and Images)

CLIP模型的核心是利用自然语言的监督信号来训练一个视觉模型。

由于Transformer模型的兴起，自然语言处理领域能够更加高效的提取文本中的特征，同时，VIT模型的成果说明，Transformer块能够在各种类型的数据集上进行特征提取工作。基于这些技术的发展，多模态领域能够更加高效的处理多模态数据。

CLIP模型通过在图像文本配对数据上进行预训练来进行这种对比学习的任务。

其核心思路是，通过一个描述性的句子来作为图像的标签，依靠Transformer模型来提取文本特征，卷积模型或VIT模型来提取图像特征，然后将配对的特征作为正样本，其余作为负样本，来进行预训练从而提取多模态的信息。

这样做的好处：

1、数据集不再需要人工标注标签，只需要图像和文本的配对即可，像Instagram、Facebook、Twitter这样的社交网站上有海量的配对数据，在数据集的获取上更容易。

2、有了海量的数据后，训练出来的模型能够更加广泛的覆盖下游任务，即使不进行微调也能够直接应用。

3、文本标签并不是像ImageNet的标签一样的单个单词，而是一个描述性的句子，通过深度学习的模型来提取信息。因此在训练中，我们的标签并不是标号，而是具有语义信息的特征。

这样训练下来，图像部分的特征提取器所提取到的图像信息，就是一个能够被文本语义信息有效分类识别的多模态信息。因此在做迁移学习时，zero shot情况下也可以有非常好的效果。

4、对一张图片的描述是多种多样的，因此在庞大数据集上，相似的图片可能对应了很多不同的文本标签，这样加大了任务学习的难度。运用对比学习的方式，相比传统的预测分类任务，难度大大降低，在训练过程中，只需要判断句子是否匹配这个图像，最后输出一个概率。这样大大增加了算法的训练效率。

---

JINA

Jina | Jina AI: MLOps for Multimodal AI, Neural Search and Creative AI

Jina是一个云端框架

（待更新）