看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

: l4 ]' t2 _% j5 p$ y: F1 E: ^
' c% c% d5 ]5 D/ q前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
- a. j, C7 B5 f, p+ e, n, @0 b
% X- [' n2 ^% b( X* Z9 }( _* r

( o6 v2 m6 G; p$ ], F& T. u8 M& I最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。



不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。

% n, ~! Q7 I! H- a* P, [
2 |! k4 ~3 P" K+ w/ {7 g6 w. c
有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
1 |/ Y2 r+ t+ y0 q7 F; v你别说，还真有。
* C9 {. L" ^( s1 D) D传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。
( K* [/ W( e4 C' O; j9 o  {% d
% w3 W2 R% s# ?0 Y& p4 s5 E% O
# u8 q& K* w/ W! {8 J( k
而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
哎呦，想想都觉得香。
要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
传统AI修复前 ▼

7 P' u1 I2 E* d: A0 w3 A

修复后 ▼
, `  L; p# |# O* B* ~


# D7 n3 u" w% s上手试试呗。
$ u: M* A7 I; y+ s先来介绍一下测试环境。
这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
% v7 a% [0 j  m0 S& `由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。
5 |$ W" A# R% S! I( @


然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。
) Y, \+ A; m8 m* h. K

' F5 _" ~' O0 u* l6 T2 r
2 u2 N* P( F7 m0 J7 [% L装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
: v- A) R" A* m0 t. Q# {: h毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
老黄的新技术，能击穿叔叔吗？
$ h, X  f# T* H: k

/ b$ @6 R  t) t( B. L- l4 w! R
: H2 t; O. ]8 N3 [$ M( u- T我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
0 a8 y* o( m7 s& O8 Z3 d6 P从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
/ \+ ]0 m" p* b4 q# w' b8 H! R1080p 分辨率下效果 ▼
: W2 ^  R+ u% Y


9 ?9 r' F$ y4 s- h$ s) w- j) _+ }至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
0 G. p+ Q- V# V# M4 M细节上，画质的确有提升，边缘明显锐利一些。
5 L2 D5 l9 ^7 @- Q6 r+ S- X

" m( K- Z  E0 M: U3 C
但真要说它带来了什么整体观感上的变化？
  D. c$ ?+ h, N% }0 o
( a. C$ v! k3 F* }
8 L6 \$ M- G. P( M" g2 w
几乎没有吧。。。
  g/ n8 `# t) v$ T/ ]分辨率1080p ▼
7 b! d0 [- R5 G$ `, R5 w0 x
; U" m2 }6 n* @5 q
% g. A0 q- `+ m/ \* l: ]1 V% n* ]
* L6 K! d' \7 u' B而且真要和原生 4k 比起来，那还是差了不止一点。

8 Z5 X5 e' O) J6 x- o9 D( B3 u7 o

既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
# ^5 o& G: v! j) Q腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？



先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
5 F1 K  t0 @1 C在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
腾讯视频720p ▼

) a! p* L' G6 ~; `- f, ]6 r% Y

比较静态的人物也优化的不错，至少美颜效果有了。
* r3 y2 H& U, v  ~& S爱奇艺720p ▼



而到了运动场景，那就完全是翻车现场。
" S1 M# ^7 f/ e+ YAI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
* W( m7 W' |5 ?: b这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
( O! b% ^5 c8 _. e5 t- ]腾讯视频720p ▼

" U9 q  V1 a1 d9 C
$ u1 e6 A% O' J
% w. N$ e7 O( f而场景中快速运动的人，更是让情况恶化了。
1 _1 j- O0 R# y/ W/ z都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
哼哼，露出 AI 脚了吧 ▼

4 L  L/ {; T$ g/ t

除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼
7 b, Y2 A/ `7 M$ \/ H

7 C% D2 g3 F% n
就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
要知道，之前的 AI 修复可是能把一个 DVD
* q: y& v5 I. R7 w, P2 g0 a+ L（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
, o; S; X' d# W& O瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼
( E: i, X' y/ q

! i5 J3 R( p* `5 L$ b! j! T
如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
9 u( p2 f) w4 ?. c比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。
  c+ V9 I. A1 K5 S

hilalchemist

太炫酷了,满满的科技感