diffusion

2024年Diffusion Models还有哪些方向值得研究(好发论文)？

DiffusionModels专栏文章汇总：入门与实战前言：笔者follow扩散模型的科研进展已经将近3年了，见证了diffusion从无人问津到炙手可热的过程。当下扩散模型还有哪些缺点？
沉迷单车的追风少年·2024-01-07 18:23

【论文阅读】DreamTalk: When Expressive Talking Head GenerationMeets Diffusion Probabilistic Models

DreamTalk：当表情丰富的说话人头生成遇到扩散概率模型paper：[2312.09767]DreamTalk:WhenExpressiveTalkingHeadGenerationMeetsDiffusionProbabilisticModels(arxiv.org)code：GitHub-ali-vilab/dreamtalk:Officialimplementationsforpaper
李加号pluuuus·2024-01-07 10:29

PriSTI: A Conditional Diffusion Framework for Spatiotemporal Imputation

PriSTI:AConditionalDiffusionFrameworkforSpatiotemporalImputation时空数据挖掘在空气质量监测、人群流量建模、气候预测等方面发挥着重要作用。然而，现实场景中原始收集的时空数据通常由于传感器故障或传输损耗而不完整。时空填补旨在根据观测值及其潜在的时空依赖关系对缺失值进行填补。以往的主流模型对缺失值进行自回归填补，存在误差累积问题。作为新兴的
西西弗的小蚂蚁·2024-01-07 07:34

扩散模型论文阅读 PriSTI: A Conditional Diffusion Framework for Spatiotemporal Imputation

速览0.Abstract0.1逐句翻译0.2I.INTRODUCTION1.1翻译第一段（时空数据补全是常见的问题，有研究价值）第二段（前人研究从历史值当中进行自回归，历史值本身就不要准确，这种方式会自然而然的扩大累积误差）第三段（扩散模型可以避免这种累积误差，前人利用扩散模型时候没有很好的利用更多周围信息和环境信息，而略微显得单薄了。）第四段（详细介绍实现细节）1.2总结III.METHODOL
BuptBf·2024-01-07 07:24

[ComfyUI进阶教程]在Comfyui上使用SDXL-Turbo实现实时图片生成工作流

感兴趣的朋友可以去官网体验一下，https://clipdrop.co/stable-diffusion-turboSDXLturbo模型可在ComfyUI中使用。
细节控-AI先行者·2024-01-07 04:13

[Stable Diffusion进阶篇]Inpaint Anything简单快速实现换装换脸

InpaintAnything算法，可以实现移除、填补、替换一切内容，实现单击图像上的任何物体可以一键擦除替换任何内容、更改任意背景，这可以提高遮罩创建过程的效率和准确性，从而在节省时间和精力的同时获得更高质量的修复结果。1.安装方法安装方法：1、在扩展面板中安装InpaintAnything地址：https://github.com/Uminosachi/sd-webui-inpaint-any
细节控-AI先行者·2024-01-07 04:12

diffusers加速文生图速度；stable-diffusion、PixArt-α

参考：https://pytorch.org/blog/accelerating-generative-ai-3/https://colab.research.google.com/drive/1jZ5UZXk7tcpTfVwnX33dDuefNMcnW9ME?usp=sharing#scrollTo=jueYhY5YMe22大概GPU资源8G-16G；另外模型资源下载慢可以在国内镜像：https
loong_XL·2024-01-06 23:15

Diffusion扩散模型学习2：DDPM前向加噪过程torch实现

参考：https://arxiv.org/pdf/2006.11239.pdf##论文https://github.com/dtransposed/code_videos/blob/main/01_Diffusion_Models_Tutorial
loong_XL·2024-01-06 23:10

初学者系列：halcon(二) 图像算子Image

预处理：mean_image消除噪声binomial_filter消除噪声median_image抑制小斑点或者细线smooth_image平滑图像anisotropic_diffusion平滑图像同时保存边缘
Yao_0·2024-01-06 20:19

东京工业、麻省理工等开源Stream Diffusion

加州大学伯克利分校、东洋大学、东京工业大学、麻省理工学院和筑波大学等研究人员，联合开源了一款创新性实时交互图像生成框架——StreamDiffusion。StreamDiffusion的技术创新点在于，将传统的顺序去噪变成流批处理去噪，消除了漫长的等待、交互生成方式，实现了流畅且吞吐量超高的图像生成方法。同时引入了“残差无分类器指导”方法，进一步提升了流批处理的效率和图像质量。根据StreamDi
RPA中国·2024-01-06 15:13

【每日论文阅读】图像修复模型

badcasehttps://huggingface.co/runwayml/stable-diffusion-inpainting/discussions/31论文MAT论文：MAT:Mask-AwareTransformerforLargeHoleImageInpainting
prinTao·2024-01-06 13:24

stable diffusion 人物高级提示词（四）朝向、画面范围、远近、焦距、机位、拍摄角度

一、朝向英文中文frontview正面Profileview/fromside侧面half-frontview半正面Backview背面(quarterfrontview:1.5)四分之一正面prompt/英文中文翻译lookingatthecamera看向镜头facingthecamera面对镜头turnedtowardsthecamera转向镜头lookingawayfromthecamera
洛克Lee·2024-01-06 09:57

stable diffusion 人物高级提示词（三）动作、表情、眼神

一、动作中文英文站立Standing走路Walking身体前倾LeaningForward鞠躬Bowing战斗姿势FightingStance单腿站立StandingonOneLeg坐在椅子上SittingonaChair手叉腰HandonHip手插兜HandinPocket双臂交叉CrossedArms翘二郎腿CrossedLegs跪地Kneeling双手举起来HandsUp双臂高举ArmsUp
洛克Lee·2024-01-06 09:24

除了sd webui，compfy还有一个sd UI

GitHub-VoltaML/voltaML-fast-stable-diffusion:BeautifulandEasytouseStableDiffusionWebUI
君臣Andy·2024-01-06 08:39

Stable Diffusion Webui在Linux服务器第一次运行不能连接huggingface

第一次运行stable-diffusion-webui出现了如下错误'(MaxRetryError("HTTPSConnectionPool(host='huggingface.co',port=443
Moriton·2024-01-05 21:35

对Stable Diffusion做fine-tune时遇见的bug

由于我的显卡比较垃圾(3050),加载模型时都用的torch.dtype=float16后来用下列方式保存模型：pipeline=StableDiffusionPipeline(text_encoder=text_encoder,vae=vae,unet=unet,tokenizer=tokenizer,scheduler=PNDMScheduler(beta_start=0.00085,beta
幼稚的云锣·2024-01-05 21:03

Stable Diffusion使用controlnet报错 mat1 and mat2 shapes cannot be multiplied问题

StableDiffusion使用controlnet报错mat1andmat2shapescannotbemultipliedRuntimeError:mat1andmat2shapescannotbemultiplied(77x1280and768x320)提示：Python运行时抛出了一个异常。请检查疑难解答页面。File"D:\sd-webui-aki-v4.4\extensions-bu
云先生_pro·2024-01-05 21:32

Stable-diffusion安装时Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘问题解决

Can’tloadtokenizerfor'openai/clip-vit-large-patch14’问题解决.如果你在安装stable-diffusion的时候遇到了这个问题，可以下载本博客的绑定资源
qq_39352483·2024-01-05 21:59

【论文阅读笔记】DreamFace: Progressive Generation of Animatable 3D Faces under Text Guidance

目录目标方法几何生成CoarsegeometryGeometrydetailcurving头发纹理生成训练纹理diffusion两阶段双流外观优化基于物理的纹理生成动画生成实验结果实现细节MoreResults
LuH1124·2024-01-05 16:37

stable diffusion 人物高级提示词（二）衣物、身材

一、衣服大类英文中文Shirt衬衫Blouse女式衬衫Dress连衣裙Skirt裙子Pants裤子Jeans牛仔裤Swimsuit泳衣Underwear内衣Bra文胸Panties内裤Stockings长筒袜Shoes鞋子Socks袜子二、细分分类dress是连衣裙：英文解释FormalDress正式礼服，通常用于正式的场合，比如晚宴、舞会、婚礼等。CocktailDress鸡尾酒会礼服，比正式礼
洛克Lee·2024-01-05 03:14

2023年最新Stable Diffusion下载+安装+使用教程（超详细版本），收藏这一篇就够了！

注意：本文讲解的是用“整合包”来本地部署安装及使用StableDiffusionWebUI，你不需要懂太多的计算机知识，而且用整合包对新手也是比较友好的，磁盘需要预留100G~200G空间才能玩。整合包我会放在文末前言本文将基于最新的SD整合包，结合笔者整合的资源，为大家介绍最基础的概念和安装方式。可以说，从这一天开始，AI绘画，尤其是SD的普及，又得到了更进一步的推动。SD基本概念大模型：用素材
朝阳区靓仔_James·2024-01-05 01:57

stable diffusion 基础教程-提示词之光的用法

基图prompt:masterpiece,bestquality,1girl,solo,lookingatviewer,brownhair,hairbetweeneyes,bangs,verylonghair,redeyes,blush,bareshoulders,(whitesundress),fullbody,leaningforward,mediumbreasts,unbuttonedclo
mindcarver·2024-01-05 01:55

stable diffusion 基础教程-文生图

置顶大模型插件资源链接你如果没有魔法上网，请自取百度云盘链接：链接：https://pan.baidu.com/s/1_xAu47XMdDNlA86ufXqAuQ?pwd=23wi提取码：23wi界面介绍参数解释参数解释Samplingmethod扩散去噪算法的采样模式，不同采样模式会带来不一样的效果steps模型生成图片的迭代步数，每多一次迭代都会给AI更多的机会去对比prompt和当前结果，从
mindcarver·2024-01-05 01:25

stable diffusion 基础教程-提示词之艺术风格用法

展现夕阳goldenhour,(rimlighting):1.2,warmtones,sunflare,softshadows,vibrantcolors,hazyglow,painterlyeffect,dreamyatmosphere阴影chiaroscuro,(highcontrast):1.2,dramaticshadows,boldhighlights,moodyatmosphere,c
mindcarver·2024-01-05 01:25

stable diffusion 基础教程-图生图

界面图生图大概有以下几个功能：图生图涂鸦绘制局部绘制局部绘制（涂鸦蒙版）其常用的也就上面四个，接下来逐步讲解。以图反推提示词图生图可以根据反推提示词来获取相应图片的提示词，目前3种主流方式，如下：CLIP反推提示词：推导出的文本倾向于自然语言的描述方式，即完整的描述短句，该功能的特点是可以描述出画面中对象间的关系DeepBooru反推：推导结果更多的是单词或短句，比较类似我们平时书写提示词的方式，
mindcarver·2024-01-05 01:25

超详细的胎教级Stable Diffusion使用教程，看这一篇就够！

大家好，用爷爷都能听懂的方式分享可以落地实操的干货花了很长时间终于整理好了这份SD的使用教程！从手把手安装部署，到界面功能讲解，再到实战案例制作，到下载优质模型，每一步都有详细教程并且用一个又一个的例子展示，让大家不止是枯燥地看，而是看完立刻也能做出一样的图片出来同时，无论是安装包，大模型，lora，关键词的文件都给大家打包好了，不用再自己这找找那找找希望能做到让大家学SD，看这一篇就够！一、为什
程序员笑武·2024-01-05 01:24

stable diffusion 人物高级提示词（一）头部篇

一、女生发型prompt描述推荐用法Longhair长发一定不要和highponytail一同使用Shorthair短发-Curlyhair卷发-Straighthair直发-Ponytail马尾highponytail高马尾，一定不要和longhair一起使用，会冲突Pigtails2条辫子-Braid辫子只写braid也会生成2条辫子，想生成一个的话用(1braids:1.3)Bob波波头樱桃
洛克Lee·2024-01-05 01:23

Stable Diffusion汉化插件

一：SD的汉化插件1、项目名称：stable-diffusion-webui-localization-zh_CN2、安装方法：登录St
BBM的开源HUB·2024-01-05 01:52

将数字人--sadtalker以插件的方式集成到Stable Diffusion中

Sadtalker在数字人领域因其消耗资源少，节省GPU资源等优点，被不少人喜爱，但他提供的WEBUI调试非常不方便，将Sadtalker以StableDiffusion插件的方式集成在一起，可以更方便大家使用，接下来，我就介绍一下，如何将Sadtalk以插件的方式集成到StableDiffusion中。一：项目地址Sadtalker的项目地址：https://github.com/OpenTal
BBM的开源HUB·2024-01-05 01:52

Stable Diffusion好用的显卡推荐

StableDiffusion是一款顶级的人工智能艺术生成工具，以其快速的性能、用户友好的界面和显着的效果而闻名。然而，在沉浸体验之前，有必要验证您的计算机（显卡）是否符合最佳功能所需的严格规范。今天我们将介绍三款高性价比显卡供您考虑，以方便您在本地系统上开始运行StableDiffusion。但如果stablediffusion对电脑要求高？但ai绘图电脑配置不够怎么办？今天这篇文章看完你就明白
赞奇超高清设计师云工作站·2024-01-05 01:22

在Ubuntu22.04上部署Stable Diffusion

在AI绘画软件领域Stable-Diffusion（简称SD）在开源领域绝对是不二之选，他的插件方式可以让此软件具有更多的功能，开发者社群为此提供了大量免费高质量的外接预训练模型（fine-tune）和插件
BBM的开源HUB·2024-01-05 01:20

用通俗易懂的方式讲解：基于扩散模型（Diffusion）,文生图 AnyText 的效果太棒了

近年来，随着AIGC的爆火，图片生成技术得到飞速发展，当前AI生成的图片已达到真假难辨的高保真度。不过，当合成图片中出现文字内容时，仍能够使AI露出马脚，因为当前主流方法尚无法在图片中生成准确可读的字符。最近半年来已有学者开始研究文本生成的问题，但这些方法大多以英文为主，无法解决中文这种字形繁杂、字符数以万计的文字生成。本文分享一种新颖的文字生成方法AnyText，通过创新性的算法设计，可以支持中
Python算法实战·2024-01-04 04:30

番外篇Diffusion&Stable Diffusion扩散模型与稳定扩散模型

文章目录Diffusion&StableDiffusion扩散模型与稳定扩散模型摘要AbstractDiffusionModel扩散模型ForwardDiffusionProcess正向扩散过程噪声图像的分布封闭公式
沽漓酒江·2024-01-03 22:17

图像融合论文阅读：Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion

@article{yue2023dif,title={Dif-fusion:Towardshighcolorfidelityininfraredandvisibleimagefusionwithdiffusionmodels},author={Yue,JunandFang,LeyuanandXia,ShaoboandDeng,YueandMa,Jiayi},journal={arXivprepri
qiang42·2024-01-03 16:38

图像融合论文阅读：DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion

@article{zhao2023ddfm,title={DDFM:denoisingdiffusionmodelformulti-modalityimagefusion},author={Zhao,ZixiangandBai,HaowenandZhu,YuanzhiandZhang,JiangsheandXu,ShuangandZhang,YulunandZhang,KaiandMeng,Dey
qiang42·2024-01-03 16:36

魔改Stable Diffusion，开源创新“单目深度估计”模型

单目深度估计一直是计算机视觉领域的难点。仅凭一张RGB图像,想要还原出场景的三维结构,在几何结构上非常不确定,必须依赖复杂的场景理解能力。即便使用更强大的深度学习模型来实现，也面临算力需求高、图像数据注释量大、泛化能力弱等缺点。为了解决这些难题，苏黎世联邦理工学院的研究人员开发了Marigold模型。Marigold不需要从零开始训练，而是在StableDiffusion（著名开源文生图模型）的基
RPA中国·2024-01-03 08:13

Stable Diffusion模型概述

StableDiffusion1.StableDiffusion能做什么？2.扩散模型2.1正向扩散2.2反向扩散3.训练如何进行3.1反向扩散3.2StableDiffusion模型3.3潜在扩散模型3.4变分自动编码器3.5图像分辨率3.6图像放大4.为什么潜在空间是可能的？4.1在潜在空间中的反向扩散4.2什么是VAE文件？5.条件设定5.1文本条件（从文本到图像）5.2分词器5.3嵌入5.
T1.Faker·2024-01-03 08:10

【计算机图形学】NAP: Neural 3D Articulation Prior

2.RelatedWork铰接物体建模3D中的Diffusionmodel扩散模型3.Pipeline铰接树参数化基于Diffusion的铰接树生成去噪网络4.实验评价铰接物体生成——以往做法与本文提出的新指标
passer__jw767·2024-01-03 07:23

论文阅读DIFFUSION POLICIES AS AN EXPRESSIVE POLICY CLASS FOR OFFLINE REINFORCEMENT LEARNING

作者：ZhendongWang,JonathanJHunt,MingyuanZhou论文链接：https://www.aminer.cn/pub/62fa0d1490e50fcafd2462dd/AI综述（大模型驱动）：offlinereinforcement学习(RL),旨在学习一个有效的政策,使用以前收集的静态数据集,是RL的一个重要范畴。标准的RL方法通常在这一任务中表现不佳,因为在外部收集
酒饮微醉-·2024-01-03 04:14

【Stable diffusion inpaiting】训练自己数据集

https://github.com/advimman/lama/tree/7dee0e4a3cf5f73f86a820674bf471454f52b74fprepareyourdata:1)Createmasksnamedas`[images_name]_maskXXX[image_suffix]`,putimagesandmasksinthesamefolder.Youcanusethescr
prinTao·2024-01-02 03:48

Stable Diffusion 本地部署详细教程

目录一、前言二、系统和硬件要求三、安装前说明四、安装步骤5、升级pip(这是管理python环境软件工具)，并把资源库换成国内地址为清华镜像。一、前言虽然MJ和SD都可以生成图像，但是为什么我们要考虑使用本地SD部署呢？原因其实很简单：首先，本地部署的使用成本更低，且更加高效；其次，它的功能更强大，更具专业性。然而，本地部署也存在一些缺点。一方面，它对硬件有一定的要求，特别是显卡。另一方面，使用上
赵孝正·2024-01-02 03:15

AIGC-stable-diffusion系列1- stable-diffusion-webui

安装方法1，源码安装参考repo参考地址：https://github.com/AUTOMATIC1111/stable-diffusion-webuipython下载地址：https://www.python.org
愚昧之山绝望之谷开悟之坡·2024-01-02 02:59

AI绘画stable diffusion及webui可视化工具安装使用

AI绘画原理diffusion(扩散)
qq_46127597·2024-01-02 02:59

Stable Diffusion 系列教程 - 5 ControlNet

ControlNet和LORA的定位都是对大模型做微调的额外网络。作为入门SD的最后一块拼图是必须要去了解和开发的。为什么ControlNet的影响力如此的大？在它之前，基于扩散模型的AIGC是非常难以控制的，扩散整张图像的过程充满了随机性。这种随机性并不会影响到日常的自娱自乐，但一些真正面对具体需求的岗位则无法忍受这种抽卡式的尝试。ControlNet的核心是基于一些额外输入的信息来给扩散模型的
@会飞的毛毛虫·2024-01-02 02:58

windows安装stable-diffusion-webui教程

整合包对非技术出身的同学比较友好，因为秋叶大佬把相关的东西已经都整合好了，只需要点点点就行了。当然懂编程的同学就更没有问题了。准备为了保证AI绘画的效率，建议在本机安装Nvidia独立显卡，也就是俗称的N卡，并且显存要达到6G以上，6G只能出图，如果要做训练建议12G以上。推荐选择RTX40系列及以上的显卡型号，最低也要选择RTX30系列。如果你没有N卡，可以使用CPU进行图形计算，但是性价比较低
AI王师傅·2024-01-02 02:58

Stable Diffusion—ControlNet原理及应用

须知SD的相关笔记都是我看B站up主Nenly同学的教程整理的，里面的文字和图片很多都是教程里面的，整理这类文章主要是防止后期遗忘查阅。有需求的同学可以去B站观看系列教程，讲的很透彻，很仔细，可以说是我见过最详细的教程了。教程链接：Nenly同学的个人空间_哔哩哔哩_bilibili一、ControlNet基本原理1.核心作用控制2.作用结构ControlNet根据一些额外的信息控制扩散生成走向A
爱学习的时小糖·2024-01-02 02:58

Stable Diffusion工作原理（How does Stable Diffusion work?中文版）

翻译自HowdoesStableDiffusionwork?1.SD能做什么最基本的功能是：文生图（text-to-image）SD以文字提示为输入，输出与提示相配的图像2.扩散模型SD属于扩散模型。扩散模型是一类生成式模型，它们被设计用于生成与训练数据类似的新数据。扩散模型为什么叫“扩散”模型呢？因为模型生成数据的过程类似物理上的扩散。下面以训练生成图片的扩散模型为例，介绍训练过程。2.1正向扩
电车上那个cll呀·2024-01-01 11:28

在win10电脑上搭建python环境下的本地AI绘画工具Stable Diffusion

StableDiffusion首先需要搭建本地的UI界面即：stable-diffusion-webui，然后下载使用模型文件即可开始创作，模型可以直接使用别人训练好
老菜鸟YDZ·2024-01-01 08:50

AI 绘画极简教程

第0步：科学上网，注册Google账号第1步：打开colabhttps://colab.research.google.com/github/alembics/disco-diffusion
Python数据之道·2024-01-01 08:19

Stable Diffusion WebUI制作光影文字效果

将模型放在stable-diffusion-webui\extensions\sd-webui-controlnet\models目录下。
培根芝士·2024-01-01 07:33
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他