图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习

目录

前言

下载执行文件

测试使用

图片测试修复超分

视频测试修复超分

总结


前言

前段时间一直在弄golang,很少关注一些开源项目。正巧碰到一个,可以将模糊的照片或者视频修复清晰,且可以超分处理的项目。

项目github地址:GitHub - xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.

看一下项目给出的效果图。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第1张图片

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第2张图片

可以看出模型对于动漫插画也有不错的效果。

项目也列举了一些类似的项目,可以看到GFPGAN也在列。 

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第3张图片

如果大家对GFPGAN也感兴趣的话,可以参考我的另一篇文章去了解一下。

如何将模糊照片人脸恢复清晰,GFPGAN机器学习开源项目使用 | 机器学习_剑客阿良_ALiang的博客-CSDN博客

本篇文章主要对该项目进行一些简单的使用。

下载执行文件

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第4张图片

可以直接下载项目的执行程序来跑跑看。

如果下载不了的,可以使用我下面的链接。

链接:https://pan.baidu.com/s/1Vqzp4ylIf-YB-Bw0PVrYog 
提取码:tuan

测试使用

解压后的目录结构如下图。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第5张图片

我们可以通过README文件,了解如何使用。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第6张图片

图片测试修复超分

我们看一下提供的图片及其分辨率。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第7张图片图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第8张图片

打开CMD进入到文件夹位置。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第9张图片

执行命令如下:

realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n realesr-animevideov3

执行结果如下,可以看到具体的进度。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第10张图片

最终生成了处理好的图片output.png,我们看一下生成的图片及其分辨率。

 图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第11张图片

可以看到不管是清晰度还是分辨率都有提升。

视频测试修复超分

视频需要使用到ffmpeg进行视频拆分处理,如果没装过ffmpeg的,可以参考我的这篇文章。

windows ffmpeg安装部署_剑客阿良_ALiang的博客-CSDN博客_ffmpeg windows安装

先创建两个目录用来存放拆分和处理的图片帧。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第12张图片

先看一下提供的视频画面及其分辨率。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第13张图片

按照README里面的说明,分为三步来处理。

step1

ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.jpg

执行后tmp_frames目录产生了拆分后的图片帧。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第14张图片

step2

realesrgan-ncnn-vulkan.exe -i tmp_frames -o out_frames -n realesr-animevideov3 -s 2 -f jpg

这一步执行的时间会比较长。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第15张图片

step3

ffmpeg -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -r 23.98 -pix_fmt yuv420p output_w_audio.mp4

将out_frames内的图片压缩为视频,看一下最后的视频质量。

可以看出清晰度和分辨率也有了不小的提高。

总结

这个项目比较吸引我的还是其对动漫插图的支持,有专门的模型。

最近在学习第一性原理,我好好思考了一下。其实我们在归纳法和演绎法两种方法层面,只是下意识的会选择第一种。还是要多站在事情之外,调整自己的思考方式,才能有更多的视野。

图片、视频修复并超分 - Real-ESRGAN项目使用(一) | 机器学习_第16张图片   

你可能感兴趣的:(机器学习系列,人工智能,机器学习,ffmpeg,视频,图像处理)