对Stable Diffusion做fine-tune时遇见的bug

 由于我的显卡比较垃圾(3050),加载模型时都用的

torch.dtype=float16

 后来用下列方式保存模型:

pipeline = StableDiffusionPipeline(
        text_encoder=text_encoder,
        vae=vae,
        unet=unet,
        tokenizer=tokenizer,
        scheduler=PNDMScheduler(beta_start=0.00085,
                                beta_end=0.012,
                                beta_schedule='scaled_linear',
                                skip_prk_steps=True),
        safety_checker=StableDiffusionSafetyChecker.from_pretrained(
            'CompVis/stable-diffusion-safety-checker'),
        feature_extractor=CLIPFeatureExtractor.from_pretrained(
            'openai/clip-vit-base-patch32'),
    )
pipeline.save_pretrained('../modules/cat_toy')

报了错:

TypeError: Object of type dtype is not JSON serializable

在网上查到的各种方法都无法解决,折腾了一天后(想紫砂),又审视了一下这句话,意思是"dtype"这种类型不能JSON序列化,我的理解是,因为我的模型的dtype=float16,因此不能用这种方式保存。之后试了float32的模型,可以正常保存,但因为显存、内存太小,在本地跑不了

你可能感兴趣的:(stable,diffusion,bug)