【图片、视频修复】Real-CUGAN的简单使用

文章目录

      • 1. 效果对比
      • 2. Win使用简介
        • 超分工具:
        • 系统环境:
        • 使用config文件说明:
        • a. 通用参数设置
        • b. 超视频设置
        • 模型分类说明:
      • 3. 实际操作
        • 模型存放:
        • 修改参数:
        • 运行模型:
      • 4. 总结

Real-CUGAN 全名Real Cascade U-Nets for Anime Image Super Resolution,是一个使用百万级动漫数据进行训练的,结构与Waifu2x兼容的通用动漫图像超分辨率模型。它支持 2x\3x\4x倍超分辨率,其中2倍模型支持4种降噪强度与保守修复,3倍/4倍模型支持2种降噪强度与保守修复。

1. 效果对比

Waifu2x(CUNet) Real-ESRGAN(Anime6B) Real-CUGAN
训练集 私有二次元训练集,量级与质量未知 私有二次元训练集,量级与质量未知 百万级高清二次元patch dataset
推理耗时(1080P) Baseline 2.2x 1x
效果(见对比图) 无法去模糊,artifact去除不干净 锐化强度最大,容易改变画风,线条可能错判,
虚化区域可能强行清晰化
更锐利的线条,更好的纹理保留,虚化区域保留
兼容性 大量windows-APP使用,VapourSynth支持,
Caffe支持,PyTorch支持,NCNN支持
PyTorch支持,VapourSynth支持,NCNN支持 同Waifu2x,结构相同,参数不同,与Waifu2x无缝兼容
强度调整 仅支持多种降噪强度 不支持 已完成4种降噪程度版本和保守版,未来将支持调节不同去模糊、
去JPEG伪影、锐化、降噪强度
尺度 仅支持1倍和2倍 仅支持4倍 已支持2倍、3倍、4倍,1倍训练中

2. Win使用简介

修改config.py配置参数,双击go.bat运行

  • 超分工具:

    百度网盘(提取码ds2a) |GithubRelease | 和彩云(提取码baRo,手机号验证码登录,不限速无需客户端) | GoogleDrive

    以Gihthub为例:
    【图片、视频修复】Real-CUGAN的简单使用_第1张图片

  • 系统环境:

    • ✔️ 在win10-64bit系统下进行测试
    • ✔️ 小包需求系统cuda >= 10.0. 【大包需求系统cuda >= 11.1】
    • ❗️ 注意30系列 nvidia GPU 只能用大包.
  • 使用config文件说明:

    a. 通用参数设置

    • mode: 在其中填写video或者image决定超视频还是超图像;

    • scale: 超分倍率;

    • model_path: 填写模型参数路径(目前3倍4倍超分只有3个模型,2倍有4个不同降噪强度模型和1个保守模型);

    • device: 显卡设备号。如果有多卡超图片,建议手工将输入任务平分到不同文件夹,填写不同的卡号;

    • 超图像,需要填写输入输出文件夹;超视频,需要指定输入输出视频的路径。

    • ❗️ 如果使用windows路径,需要在双引号前加r

    b. 超视频设置

    • nt: 每张卡的线程数,如果显存够用,建议填写>=2

    • n_gpu: 显卡数;

    • encode_params: 编码参数 {crf,preset}

      crf: 通俗来讲,crf变低=高码率高质量

      preset: 越慢代表越低编码速度越高质量+更吃CPU,CPU不够应该调低级别,比如slow,medium,fast,faster

    • half: 半精度推理,不建议关闭

    • tile: 有6种模式,数字越大显存需求越低,相对地可能会小幅降低推理速度 {0, 1, 2, 3, 4, auto}

      0: 直接使用整张图像进行推理,大显存用户或者低分辨率需求可使用

      1: 对长边平分切成两块推理(95%,显存占用,下同)

      2: 宽高分别平分切成两块推理(81%)

      3: 宽高分别平分切成三块推理(61%)

      4: 宽高分别平分切成四块推理(54%)

      auto: 当输入图片文件夹图片分辨率不同时,填写auto自动调节不同图片tile模式,未来将支持该模式。

  • 模型分类说明:

    • 降噪版:如果原片噪声多,压得烂,推荐使用;目前2倍模型支持了3个降噪等级;
    • 无降噪版:如果原片噪声不多,压得还行,但是想提高分辨率/清晰度/做通用性的增强、修复处理,推荐使用;
    • 保守版:如果你担心丢失纹理,担心画风被改变,担心颜色被增强,总之就是各种担心AI会留下浓重的处理痕迹,推荐使用该版本。

搬运自https://github.com/bilibili/ailab/blob/main/Real-CUGAN/README.md

3. 实际操作

  • 模型存放:

    将 updated_weights.zip 下载后新建 weights_v3 文件夹,将模型解压进去
    【图片、视频修复】Real-CUGAN的简单使用_第2张图片
  • 修改参数:

    打开config.py,修改参数,里面的备注写的很清楚了,一般只用修改scale、tile、nt三个参数,文件夹路径自己输入即可,想使用别的model的话直接修改即可,以下是我的修改结果。
#超分倍率
scale=4

#参数路径,可更换
model_path2 = r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\weights_v3\up2x-latest-no-denoise.pth"
# model_path2 = "weights_v3/up2x-latest-denoise3x.pth"e
model_path3 = r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\weights_v3\up3x-latest-denoise3x.pth"
model_path4 = r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\weights_v3\up4x-latest-no-denoise.pth"

#超分模式,视频or图像文件夹
mode="image"#video#image

#早期显卡开半精度不会提速,但是开半精度可以省显存。
half=True
#tile分为0~4一共5个mode。0在推理时不对图像进行切块,最占内存,mode越提升越省显存,但是可能会降低GPU利用率,降低推理速度
tile=4

#超图像设置
device="cuda:0"#0代表卡号,多卡的话可以写不同config并行开,显存多的话一张卡也可以开多个
input_dir=r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\picture"#输入图像路径
output_dir=r"E:\fenbianlv\RealCUGAN_for_win10_torch1.10.0cu111\output"#超分图像输出路径

#超视频设置
inp_path="../东之伊甸4raw-clip10s.mp4"
opt_path="../东之伊甸4raw-clip10s-2x.mp4"
#线程数:6G显存<=720P可写2,6G显存+1080P写1,12G可写2,24G可写4,边缘显存量爆显存降低线程数
nt=2
#显卡数
n_gpu=1
#别乱动
p_sleep=(0.005,0.012)
decode_sleep=0.002
#编码参数,不懂别乱动;通俗来讲,crf变低=高码率高质量,slower=低编码速度高质量+更吃CPU,CPU不够应该调低级别,比如slow,medium,fast,faster
encode_params=['-crf', '18', '-preset', 'medium']

  • 运行模型:

    将要超分的图片放入picture文件夹中,运行go.bat,如果显存没超的话,运行完如下图所示。
    ps:我的3060爆了好多次显存,等开学了用3080跑一下试试。 【图片、视频修复】Real-CUGAN的简单使用_第3张图片
    最后的对比图来啦:
    原图:
    【图片、视频修复】Real-CUGAN的简单使用_第4张图片
    超分后:
    【图片、视频修复】Real-CUGAN的简单使用_第5张图片

4. 总结

最后的成图确实惊艳到我了,不得不说叔叔还是懂大家,现在坐等更新新的模型。

你可能感兴趣的:(pytorch,超分辨率重建,图像处理)