AI 答复复兴 100 年前的京城老视频,靠这三个开源对象

OSC奥秘老司机
 OSC奥秘老司机
发布于 2020年05月20日
收藏 148

六一兴趣技巧问答,“秃顶”要从娃娃抓起!>>>

近日,一段拍摄于 100 年前的老北京城影象被央视转发,在微博上火了。据懂得,该视频出自一名 B 站的 UP 主大年夜谷的游戏创作小屋。作者大年夜谷应用 AI 技巧,把一段拍摄于 1920 年的北京城诟谇视频,衬着成了高清流畅的黑色视频,配以颇具处所特点的 BGM,复原了百年前老北京城的平易近风平易近俗,很有内味。

据大年夜谷简介,这部拍摄于百年前的诟谇视频由于年代长远,视频画质有很多噪点,帧数、分辨率都很低。因而他应用了三款开源的 AI 对象来对视频停止处理,分别是:

  • DAIN,对视频停止补帧处理,进步视频流畅度
  • ESRGAN,对视频停止超分辨率处理,进步视频清楚度
  • DeOldify,对视频停止上色处理

下面就让我们来懂得一下这三款视频修复经常使用的 AI 对象,感兴趣的同伙也能够学着用起来,本身处理老旧视频哦。 

视频补帧对象 DAIN

帧数 (FPS)关于一部视频的流畅度来讲影响很大年夜,在正常播放速度下,低于 30 FPS 的视频会让人认为卡顿,高于 60 FPS 的话肉眼则分辨不出差别。帧数越高的视频带来的流畅度必定是更高的,特别是在慢镜头下,差别尤其明显:

上图来自另外一 AI 补帧对象 SUPER SLOMO 的示例,将原片 30 FPS 的汽车甩尾镜头加快 8 倍后,实际 FPS 缺乏 4 FPS,肉眼可见的卡顿。而经过过程 AI 补帧技巧,可以或许将慢放后的视频保持在 240 FPS,流畅程度可见一斑。

平日来讲,补帧的核心述求是在两个持续帧之间拔出中心帧,从而进步视频的 FPS,而补帧对象须要处理的成绩就是若何经过过程 AI 算法主动生成中心帧。DAIN 全称 Depth-Aware Video Frame Interpolation,即基于深度感知的视频帧插值对象。DAIN 团队提出了深度感知帧内插模型,开辟了一个深度感知流投影层来生成中心帧。

测试情况

  • Ubuntu(Ubuntu =16.04.5 LTS )
  • Python:Anaconda3 = 4.1.1 & Python= 3.6.8 
  • Cuda 和 Cudnn:Cuda = 9.0 & Cudnn = 7.0 
  • Pythorch:定制的深度感知流投影和其他层须要 Pythorch 中的 ATen API =1.0.0
  • GCC:编译 PyTorch 1.0.0 扩大文件(.c/.cu)须要 GCC=4.9.1 和 nvcc=9.0 编译器
  • GPU:NVIDIA GPU(作者应用的是 Titan X(Pascal)计算=6.1,支撑 compute_50/52/60/61 设备)

装置应用

下载材料库:

$ git clone https://github.com/baowenbo/DAIN.git

在构建Pytorch扩大之前,请确保您具有pytorch >= 1.0.0

$ python -c "import torch; print(torch.__version__)"

生成 PyTorch 扩大:

$ cd DAIN
$ cd my_package 
$ ./build.sh

生成 PWCNet 所需的 Correlation 包:

$ cd ../PWCNet/correlation_package_pytorch1_0
$ ./build.sh

测试预练习模型:

制造模型权重目次和 Middlebury 数据集目次:

$ cd DAIN
$ mkdir model_weights
$ mkdir MiddleBurySet

下载预练习的模型,

$ cd model_weights
$ wget http://vllab1.ucmerced.edu/~wenbobao/DAIN/best.pth

和 Middlebury 数据集:

$ cd ../MiddleBurySet
$ wget http://vision.middlebury.edu/flow/data/comp/zip/other-color-allframes.zip
$ unzip other-color-allframes.zip
$ wget http://vision.middlebury.edu/flow/data/comp/zip/other-gt-interp.zip
$ unzip other-gt-interp.zip
$ cd ..

预装置:

$ cd PWCNet/correlation_package_pytorch1_0
$ sh build.sh
$ cd ../my_package
$ sh build.sh
$ cd ..

下载成果

用以下办法下载插值成果:

$ wget http://vllab1.ucmerced.edu/~wenbobao/DAIN/UCF101_DAIN.zip
$ wget http://vllab1.ucmerced.edu/~wenbobao/DAIN/Vimeo90K_interp_DAIN.zip
$ wget http://vllab1.ucmerced.edu/~wenbobao/DAIN/Middlebury_eval_DAIN.zip
$ wget http://vllab1.ucmerced.edu/~wenbobao/DAIN/Middlebury_other_DAIN.zip

慢举措生成:

此模型完全有才能在对搜个人系构造停止大批修改的情况下产生慢举措后果。经过过程指定time_step = 0.25以生成 x4 慢举措后果来运转以下代码:

$ CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_slowmotion.py --netName DAIN_slowmotion --time_step 0.25

或设置time_step0.1250.1以下

$ CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_slowmotion.py --netName DAIN_slowmotion --time_step 0.125
$ CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_slowmotion.py --netName DAIN_slowmotion --time_step 0.1

分别生成 x8 和 x10 慢举措。或许你想用 x100 慢举措拍些好玩的器械也没成绩。

$ CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_slowmotion.py --netName DAIN_slowmotion --time_step 0.01

可经过过程以下办法创建gif动画:

$ cd MiddleBurySet/other-result-author/[random number]/Beanbags
$ convert -delay 1 *.png -loop 0 Beanbags.gif //1*10ms delay 

祝玩得高兴!

DAIN 的详细简介:点击检查

DAIN 的下载地址:点击下载

 

分辨率晋升对象 ESRGAN

我们知道,分辨率关于图象的清楚度将产生直接的影响。一张低分辨率的小图片,假设我们直接缩小年夜的话很多细节将变成“马赛克”,这点信赖大年夜家都很有经历。是以,直接采取浅显的插值算法停止图片缩小年夜的话,图中物体的边沿就会变得模糊,而超分辨率算法就是为懂得决这类成绩。

ESRGAN 是一种加强型超分辨率生成对抗搜集,能经过过程 AI 在图象超分辨率时代生成真实纹理,完成图象分辨率的晋升,后果以下图所示: 

测试情况

装置应用

1.克隆此 github 存储库。

git clone https://github.com/xinntao/ESRGAN
cd ESRGAN

2.将低分辨率图象放置在./LR文件夹中。(有两个示例图象-狒狒和漫画)。

3.从 Google 云端硬盘百度云端硬盘下载经过预练习的模型。将模型放在./models

4.作者供给了两种具有高感知质量和高 PSNR 性能的模型。运转测试:供给 ESRGAN模型和 RRDB_PSNR 模型,可以设备test.py

python test.py

5.成果在./results文件夹中。

ESRGAN 的详细简介:点击检查

ESRGAN 的下载地址:点击下载

 

诟谇图象着色对象 DeOldify

DeOldify 是用于着色和恢复古图象及视频的深度进修项目。它采取了 NoGAN 如许一种新型的、高效的图象到图象的 GAN 练习办法,细节处理后果更好,衬着也更逼真:

  

NoGAN 是作者开辟的一种新型 GAN 练习模型,用于处理之前 DeOldify 模型中的一些关键成绩。NoGAN 练习结合了 GAN 练习的长处(好看标色彩),同时清除令人憎恨的副感化(如视频中的闪烁物体)。视频由孤立的图象生成,而不添加任甚么时候间建模。该过程履行 30-60 分钟 “NoGAN” 练习的 GAN 部分,每次应用 1% 至 3% 的图象搜集(imagenet)数据。然后,与运动图象着色一样,在重建视频之前对各个帧停止“去旧化”(DeOldify),即使在移动场景中的衬着也异常分歧:

今朝,DeOldify 有三种型号可供选择,每种都有关键优势和优势,是以具有不合的用例。三种型号分别为:Artistic(艺术型)、Stable(稳定型)、Video(视频公用)。

测试情况

  • Linux
  • Fast.AI = 1.0.51(及其依附项)。假设应用任何更高版本,你会在衬着中看到网格工件,而tensorboard 会出现毛病。
  • PyTorch = 1.0.1
  • Jupyter Lab conda 装置
-c conda forge jupyterlab
  • Tensorboard(即装置 Tensorflow)和 TensorboardX。非须要,但 FastAI 如今供给了对 TF的原生支撑,很好用。
prereqs:conda install-c anaconda tensorflow gpu
pip install tensorboardX
  • ImageNet,是一个很好的数据集,用于练习。
  • GPU:请求不高。(伶仃着色用浅显集显都行,大年夜范围练习的话照样建议上好一点的显卡)

装置应用

翻开敕令行并导航到要装置的根文件夹,输入以下敕令:

git clone https://github.com/jantic/DeOldify.git DeOldify
cd DeOldify
conda env create -f environment.yml

然后开端应用这些敕令运转:

source activate deoldify
jupyter lab

经过过程控制台中供给的 URL 开端在 Jupyter Lab 中运转。

DeOldify 详细简介:点击懂得

DeOldify 下载地址:点击下载

想要本身着手把诟谇老视频变成黑色高清视频的同伙,如今便可以行动起来啦。

 
本站文章除注明转载外,均为本站原创或编译。迎接任何情势的转载,但请务必注明出处,尊敬他人休息共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://aledoyoga.com]
本文标题:AI 答复复兴 100 年前的京城老视频,靠这三个开源对象
加载中

出色评论

z
zjh6
AI最善于弄假.哪里有AI,哪里就有弄假!
汪纬
汪纬
666

最新评论(16

wsliang
wsliang
白种人给弄成黄脸蛋了~
罪人
mark
开普勒452b
开普勒452b
卓别林的片子可以尝尝ai一下
开源oschina
开源oschina
6比啊
youngjdong
youngjdong
机械请求高吗
开源机械猫
开源机械猫
心中无码则无码
小果汁儿
小果汁儿
可否帮我补一补马赛克?
小果汁儿
小果汁儿
😊
或许____
或许____
好器械
z
zjh6
AI最善于弄假.哪里有AI,哪里就有弄假!
红紫树
红紫树
niubility
前往顶部
顶部