Diffusion笔记

一、Diffusion是什么

Diffusion 是一种去噪扩散模型,工作原理是对图像逐步施加噪点,直至图像被破坏变成完全的噪点,然后再逆向学习从全噪点还原为原始图像的过程,而 AI 所看到的是全是噪点的画面如何一点点变清晰直到变成一幅画,通过这个逆向过程来学习如何作画。

二、CLIP是什么

CLIP 是 OpenAI 在 2021 年初发布的用于匹配文本和图像的神经网络模型,是近年来在多模态研究领域的杰出成果,它一方面对文字进行语言分析,另一方面对图形进行视觉分析,不断调整两个模型内部参数,达到文字和图像高度匹配的效果。

参考文档:

  • https://foresightnews.pro/article/detail/19939

你可能感兴趣的:(多模态,计算机视觉,人工智能)