instructpix2pix，一种编辑图片的算法，输入图片和需求，生成对应结果。

'InstructPix2PixLearningtoFollowImageEditingInstructions是一篇非常有意思的文章，有意思说的是效果，要做出论文的效果过程并没那么顺利。首先需要微调GPT3模型，这个花钱花力气，在之前的文章里已经提过，可以参考finetune一个GPT3。在此基础上稍微修改一下prompt2prompt的代码获取相关样本，然后再按论文的方法修改网络和初始化权重，

3.1生成多模态训练集3.1.1生成指令及成对caption3.1.2依据成对的caption生成成对的图像3.2InstructPix2Pix4.实验结果4.1基线比较4.2消融实验5.结论论文：《InstructPix2Pix

InstructPix2Pix:LearningtoFollowImageEditingInstructionshttps://arxiv.org/abs/2211.09...伯克利分校的研究人员开发了一种使用人工指令编辑图像的新方法

本文主要探讨如何使用指令微调的方法教会StableDiffusion按照指令PS图像。这样，我们StableDiffusion就能听得懂人话，并根据要求对输入图像进行相应操作，如:将输入的自然图像卡通化。图1：我们探索了StableDiffusion的指令微调能力。这里，我们使用不同的图像和提示对一个指令微调后的StableDiffusion模型进行了测试。微调后的模型似乎能够理解输入中的图像操作

本文主要探讨如何使用指令微调的方法教会[StableDiffusion](https://huggingface.co/blog/zh/stable_diffusion)按照指令PS图像。这样，我们StableDiffusion就能听得懂人话，并根据要求对输入图像进行相应操作，如:

InstructPix2Pix:LearningtoFollowImageEditingInstructionshttps://arxiv.org/abs/2211.09800v2伯克利分校的研究人员开发了一种使用人工指令编辑图像的新方法

作者团队使用两个预训练模型（一个是语言模型GPT-3,另一个是文本到图像模型StableDiffusion)生成大量编辑图像的样例数据,然后基于这些数据训练出InstructPix2Pix模型，能够在推理过程中适用于真实图像和用

InstructPix2Pix:LearningtoFollowImageEditingInstructionshttps://arxiv.org/abs/2211.09...伯克利分校的研究人员开发了一种使用人工指令编辑图像的新方法

原文链接：https://www.techbeat.net/article-info?id=4375作者：seven_最近的一些工作向我们展示了AIGC在创造性生成图像、视频等方面的潜力，相信已有很多研究者在沿着这一方向进行拓展式的挖掘和创新。目前已有很多衍生应用出现在了大家眼前，例如仅通过手绘草图生成具有真实感的照片，该工作可以应用在很多设计领域，将设计师寥寥数笔画下的草图进行加工，可以提高工作

InstructPix2Pix:LearningtoFollowImageEditingInstructions图像的语言指令生成。