看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

5 a, h+ l" X2 ?: N. a* L% l$ d8 M

前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
/ b) g% c% e7 m6 ^6 k* ~& |0 U* |
2 G: i6 s: X5 e1 g, N$ H3 F5 V
7 I7 C( c! |; w! S0 V* P5 p
最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。

" L  Z1 _9 t6 ?0 R1 K! D

不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。
+ ?, R& G  z3 A0 t! y

. |% ]4 l, ]2 A0 B
8 @* S: T. {+ b. U' A- N有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
你别说，还真有。
传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。
# b3 x6 b$ o: r! m" J; P) B$ ^


而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
哎呦，想想都觉得香。
要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
4 i+ g# p9 Q2 \6 {6 \  X2 C$ Q传统AI修复前 ▼
( X. M* d2 o* v  z7 p( p' U


修复后 ▼

  N) B. M) z: [* z) y& F2 m8 b
0 o) O3 F" Y9 a) D0 V- I
上手试试呗。
4 M7 \9 L* U/ v先来介绍一下测试环境。
这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
8 _" m4 Z. R0 [, c" M3 E由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。
  F6 m' t* V* `9 V) ?1 z5 T
! i  S. l3 r6 N3 I9 K
* {" `8 b% m2 x, k. M2 h4 e
然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。

/ l, g! R$ M* U) S! p! z4 t
+ M8 W; k* J' R1 G3 h
装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
7 S% O  {* @& }& l2 b- e9 l毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
老黄的新技术，能击穿叔叔吗？

1 L# @( i$ G+ d8 e" q$ Q- ?2 V
. E* _* {  Q- L# |; m
我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
3 J% M: u5 Y9 R6 f0 I从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
1080p 分辨率下效果 ▼

5 z; \' B# `3 K$ V

/ V& b2 J" }; K: }7 j! N至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
4 L  a5 d& w0 W9 e% l7 W3 r细节上，画质的确有提升，边缘明显锐利一些。
2 y  S/ ^; y& o6 d1 T


但真要说它带来了什么整体观感上的变化？

1 K3 Q5 g2 T/ t* a- d* W! }/ a( V

几乎没有吧。。。
- L. y! z# Y8 o* i& m. h9 W分辨率1080p ▼
' {0 G& {- I( q* v; E1 q
2 X" v" x: \9 ?) C4 z" w) X1 n! x

7 y* k2 G) h0 W' j+ b. i4 u5 l6 E而且真要和原生 4k 比起来，那还是差了不止一点。


5 F8 o4 h- B: |) I
2 b  S# a; J9 U$ o6 P既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
1 p( W; T" d5 w9 w/ N- V5 x9 g" w腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？
4 L+ K# P% V. J* ~% B4 b

7 p0 y* V+ c  n4 U& F
先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
; Y2 f3 x( O  }3 V; H5 F: c0 q腾讯视频720p ▼
3 K, b) M* v- B4 v9 ^6 ]# p

% [$ u: L9 s& v: L
比较静态的人物也优化的不错，至少美颜效果有了。
7 U/ p: r# X7 M6 v5 L0 t/ g爱奇艺720p ▼
" }5 e% `1 ]- F: E( w, t

+ G) |1 ^* B6 I2 o
而到了运动场景，那就完全是翻车现场。
AI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
/ K% r  Y8 r& X0 b# ?; i这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
$ z$ o) ]' Y$ B5 w腾讯视频720p ▼
: d  z3 K+ s6 l  D; s# e
$ b1 B5 C' J, S' |/ C% S
. E. J% ^& y; o. C# p
而场景中快速运动的人，更是让情况恶化了。
, F0 ~9 F- c) j% M, ]都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
哼哼，露出 AI 脚了吧 ▼


. j4 D  I9 ?% d0 I
' H6 M6 D9 [  A  ~: E% v. f除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼


) v! T! V$ @+ T
6 V# x: s) N& Y; Q就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
% J+ T3 y$ d& L7 [; L总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
1 E9 ^, Z2 n1 A7 z( h1 C! U要知道，之前的 AI 修复可是能把一个 DVD
! A$ _& A6 E3 j  Y, c( d（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
1 q& f+ @' @! i7 ^瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼



如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。

hilalchemist

太炫酷了,满满的科技感