4K超分辨率视频制作 第2期:Topaz Video Enhance AI
ZHY2020
编辑于 2021年05月06日 21:05
收录于文集
共2篇

上期:


Topaz Video Enhance AI


一、工欲善其事必先利其器

正式开始前给显卡来个大保健

清清灰换个硅脂,能降点温就降点温。

大火炉

二、界面(1.6.1版本)

常用功能标了中文,其余自行探索

三、AI模型选择

Gaia CG 最推荐作为动画类视频超分辨率的模型。线条强化效果好。

Artemis 模型速度最快,但说实话放大看细节我不太喜欢。

我现在一直用1.6.1版本是因为之后的版本的CG模型处理速度变慢了……还有新版本处理时占用GPU的3D显示,会影响显卡的正常显示(输出图像变卡),而之前用CUDA的版本则没问题,甚至还能一边跑运算一边刷B站看视频。

四、坑(仅针对1.6.1版本)

1.处理速度无法达到最大值

那我自己实际操作举例,制作一个4K的OP,通常是从一个1080P视频升上去的,GTX970正常速度为6.7s一帧(CG模型),而有时候会出现10秒多一帧的情况。

这是显卡在启动渲染时,有其他负载(浏览器等)

解决方法:启动渲染前清空后台(或者直接重启电脑)

在渲染过程也不要在使用一些占显存的应用,这也会使速度突然变慢,且不可恢复(必须重启渲染)

2.直接将视频文件作为输入源有概率导致漏帧

还记全过程概览中的第一步是将原视频分离成PNG序列,既然软件支持将视频文件作为输入源,为什么还要自行分离?对,这就是原因。

这是在进行 BV12r4y1P7Fu 的工作时发现,现在这个稿件已经传了一个不正常的2P,可以比较一下两个有什么不同。

2P会发现,它更卡了,这不是设备编解码的问题,起初我也是这么认为的。直到我逐帧比对了原片和超分辨率产生的PNG序列,好家伙一些中间帧漏了,那些漏帧的位置被重复帧替代,所以整体总帧数没问题,却输出的视频变卡了。

总之之后,我就不信软件的视频帧分离了,虽然是概率发生,但检查困难,只有成品输出后才能发现,一旦发现之前所有的渲染作废。

3.Gaia-CG输出错误

先看两张图

画圈区域明显不对头有杂色。上图为CG模型的结果。

解决办法:没什么特别好的办法避免,只能查,但这种情况多发于大面积红黄色画面,重点关注这部分画面。

五、补充(FFmpeg导出帧序列方法)

前提:配置好ffmpeg环境变量

在视频所在文件夹

快捷在该文件夹启动CMD命令提示符

新建一个文件夹来存放导出的帧序列比如叫frames

输入命令

代码块
Shell
自动换行
复制代码
ffmpeg -i VideoName.xxx -f image2 frames/%04d.png
#VideoName.xxx 是视频的完整文件名带扩展名
#%04d表示四位整数,也就是输出的序列会以0001.png 到 xxxx.png 储存
#同理帧数较多时超过1万时,可以用%06d.png表示000001.png至xxxxxx.png

#以上命令可能产生色彩偏差
ffmpeg -i VideoName.xxx -vf "scale=in_color_matrix=bt709:out_color_matrix=bt709" -f image2 frames/%04d.png
#正确YUV->RGB转换 适用720p 1080p分辨率以上的视频
复制成功

六、小结

  1. Topaz AI 模型选择(动画类推荐Gaia CG)

  2. 1.6.1版本的3个坑(注意点)

  3. ffmpeg 提取帧序列的方法


一般做做,不追求完美,直接傻瓜化,用AI软件直接提升,视频入视频出就可以了,用帧序列操作具备比较大的灵活性。

下一篇应该是重要的Avs脚本篇。

ZHY