diffusion model 训练经验笔记

1、control image和noise 直接concatenate一块,不能在control image上加noise,直接叠上去即可,不然无法control

2、训练batch size大一点好,至少大于200,256即可

3、controlnet 一般用来控制pretrained模型,如果是自己从头训练模型,不需要controlnet那种分支,只需要直接在channel维度上concate

4、3D的medical data,如果直接分割成小的3D块来训练,模型收敛有困难,可能需要更大的模型来支持。可以考虑直接预测2D或者2.5D

5、对于medical data的预处理要特别小心,比如MR和CT的数据的range不像自然图像基本是标准的0-255,medical图像的范围可能不同subject都不一样。最好是找一个最大的range比如-1024到3000,preprocessing的时候不能用min max来normalize,而直接用这个-1024和3000定值来normalize,这样diffusion model预测出来后才能使用相同的定值来de-normalize回原来的范围

你可能感兴趣的:(Deep,Learning,笔记,人工智能,深度学习,stable,diffusion,diffusion,model)