来自腾讯AI实验室的Real-ESRGAN将模糊老照片和视频修复成高清晰(一些错误处理)

        Real-ESRGAN:Enhanced Super-Resolution GAN:增强的超分辨率的对抗生成网络,对于GAN相信大家都比较熟悉,前有阿尔法狗,现有很多GAN的延伸版本,StyleGAN1~3系列以及DragGAN对于图片的生成和编辑,出来的效果都很惊艳。
        一些旧照片,时代比较久远了,那个时候的像素不够,所以有点模糊,但这都是一种美好回忆,如果能够修复成高清晰的那就好了。这里的Real-ESRGAN就是对这些模糊照片进行处理,生成高清晰的照片,老旧的视频,颜色和分辨率也是比较差,也可以使用Real-ESRGAN进行修复成高清晰的视频。

1、安装环境

1.1、安装前提条件

Python >= 3.7 和 PyTorch >= 1.7 

一般本人习惯新建一个虚拟环境来安装(建议看完本文章之后再安装):
conda create -n mypytorch python=3.8
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

安装好了之后就激活环境:activate mypytorch

1.2、克隆仓库

git clone https://github.com/xinntao/Real-ESRGAN.git
cd Real-ESRGAN 
当然在克隆的时候,有时会出现下面这样的错误
fatal: unable to access 'https://github.com/xinntao/Real-ESRGAN.git/': Failed to connect to github.com port 443: Timed out
有时是网络问题,如果多次试了还是不行,那最简的办法就是将https修改成http,哈哈泰裤辣。

1.3、安装依赖包

依然推荐加上豆瓣镜像,下载速度快很多

pip install -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com basicsr
pip install -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com facexlib
pip install -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com gfpgan
pip install -r requirements.txt
python setup.py develop

1.4、预训练模型

安装好了之后,我们来测试下:
python inference_realesrgan.py -n RealESRGAN_x4plus -i 1.png -o newimgs
如果没有下载预训练模型:RealESRGAN_x4plus.pth
在推理阶段将自动进行下载:来自腾讯AI实验室的Real-ESRGAN将模糊老照片和视频修复成高清晰(一些错误处理)_第1张图片

当然也可以自己手动先下载(推荐):RealESRGAN_x4plus.pth预训练模型
然后放到\Real-ESRGAN\weights这个权重目录里面即可,建议使用迅雷下载,虽然文件不大,不过下载速度很慢,所以一般都用迅雷快很多。

2、生成效果比较

我们来看几张效果,本人的一些老照片有点模糊,修复之后,清晰度真的非常不错,而且皮肤更好了,做了美颜效果。

老照片修复

当然有兴趣的还可以使用其他的预训练模型,比如:RealESRGAN_x4plus_anime_6B.pth
RealESRGAN_x4plus_anime_6B.pth预训练模型下载
试下效果会怎么样。
视频也可以,在论文里面也有地址,Demo需要科学上网,有兴趣的可以去试试。
python inference_realesrgan.py -n RealESRGAN_x4plus_anime_6B -i 1.png -o newimgs 

这样就会在newimgs文件夹里面生成高清晰的照片了

3、错误处理

在安装之后,运行时会出现一些常见的错误,我们一起来看下

3.1、CUDA不可用

Testing 0 1
Error "slow_conv2d_cpu" not implemented for 'Half'
If you encounter CUDA out of memory, try to set --tile with a smaller number.

没有CUDA的支持,不能实现半精度。于是查看CUDA的状态是否可用:

torch.cuda.is_available()

奇怪的是返回 False

明明上面已经安装了CUDA的,这种情况,一般是版本匹配问题,试着换一个版本重新安装下:
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.7 -c pytorch -c nvidia
恩,没有问题。返回True

来自腾讯AI实验室的Real-ESRGAN将模糊老照片和视频修复成高清晰(一些错误处理)_第2张图片

3.2、显存不足

Error CUDA out of memory. Tried to allocate 236.00 MiB (GPU 0; 2.00 GiB total capacity; 1.42 GiB already allocated; 0 bytes free; 1.57 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
If you encounter CUDA out of memory, try to set --tile with a smaller number. 

这个就是显存不足了,本人配置比较低,1050的显卡,一些大点的模型基本都很吃力,所以平时测试的时候一般是调低batchnum,图片的输入分辨率,另外就是将需要用到GPU的进程先结束掉,节省一部分出来。所以这个模型基本上能搞定,有兴趣的可以去试试。

在线Demo:https://arc.tencent.com/en/ai-demos/imgRestore
可执行文件:各种OS的执行文件
github地址:https://github.com/xinntao/Real-ESRGAN
论文地址:ESR_Generative_Adversarial_Networks_ECCVW_2018_paper.pdf
后期有时间将论文和源码全部看一遍再发出来一起学习下。 

你可能感兴趣的:(深度学习框架(PyTorch),Real-ESRGAN,老照片AI修复,模糊照片生成高清晰,torch.cuda,pytorch-cuda)