看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

8 `$ s! m, Z; T0 y( |8 O8 g

前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
* {. n# C& \* Z6 ?


% Z0 A- Y8 I: X# f5 U+ {3 R7 C5 E最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。


% [. b# x! ?2 C- g* `8 x. u
不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。
- v; g. C; j! r, M' b! q
5 K4 {0 J2 N0 I4 B1 o4 }/ U
) `+ M! A3 ]7 ~& ^7 |( |/ B5 o
有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
你别说，还真有。
6 [9 @2 |8 M  O传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。
8 U3 V  }2 S2 ]0 Y, e

8 V0 j- T# E: M* H! z/ p
而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
哎呦，想想都觉得香。
- X# I1 G  e( x8 P要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
" V2 k/ @. ]& `  u7 P7 T传统AI修复前 ▼



# d$ x. W4 p( f: f0 l3 U# q& C- n修复后 ▼



; L, {$ K+ x$ m3 L1 h# Z上手试试呗。
' f2 G& G- O3 ~4 h$ r先来介绍一下测试环境。
这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。

2 K5 i! L) b9 V- G: L
# h5 o% b) i! ]8 {3 b2 _
然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。

8 R* L! u" K8 g: v4 z0 b4 f2 ~

: _7 Y" a* F* ]装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
! {! }/ q$ U9 w# l# W毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
& w6 [  C! x4 [( ^* g" ~+ @老黄的新技术，能击穿叔叔吗？
- v7 u0 C+ E/ `/ }$ U
% e3 W* L& t" f* v6 ~

我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
- [) o' D' D% h; A' |  S从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
$ x  I! B( h: W! o" x1080p 分辨率下效果 ▼
0 _: I" @3 u* z
3 U0 i7 K2 l( Z) g- o* u2 H) u4 `; E
) o$ A3 F' ?9 n7 H+ I0 z3 W2 |
至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
细节上，画质的确有提升，边缘明显锐利一些。


+ K0 G$ X1 J- o  @( r; y- J
8 c7 z0 }# U& Y. J0 l但真要说它带来了什么整体观感上的变化？
4 S* O% B3 G# j8 {


9 _5 ~& q7 {# V: ~8 Q几乎没有吧。。。
分辨率1080p ▼
- h4 W7 m: {. l  s7 S
6 l; ]- Q) E( ^! ?
( g9 }3 \  r, J* }+ `+ {
$ @% t4 \0 H2 z5 `而且真要和原生 4k 比起来，那还是差了不止一点。
" ~4 G$ ^+ R; k; P' H  l" K
- h, i7 I) V; |/ O
6 p$ z+ A& d. a" E& N  G1 y( J2 c
) d& x2 Y# R! h! X+ Z5 o3 |$ ?3 ^既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？
2 F0 N1 F3 a* S& j, @9 B
8 {( Y( t9 `% C: i# x1 v

先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
腾讯视频720p ▼
. a6 ^  b' X: ]. r4 x0 n
: E" e! u& P  X$ G5 @+ U. [% U, F6 }

比较静态的人物也优化的不错，至少美颜效果有了。
爱奇艺720p ▼



而到了运动场景，那就完全是翻车现场。
* B0 I3 _9 s+ ]; sAI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
/ r- u* a: p& ~% J这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
腾讯视频720p ▼

; d4 \, C% N- @" }* M$ D, T

而场景中快速运动的人，更是让情况恶化了。
7 {  D# }# J' [5 D' D! T& n1 u$ F都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
哼哼，露出 AI 脚了吧 ▼

! N( o$ e1 T: Q3 u5 {% [# H4 s; B  {
! F' L% ?- m3 k% ^- I
除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼
6 N. a, Q2 G  @# Y2 ~
  ?8 @! A: |. l9 j5 T5 f

1 @+ M3 y7 B  I' E& U就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
2 d- P) ?' [; t4 H! y总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
要知道，之前的 AI 修复可是能把一个 DVD
（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
' {! M9 x( y+ W瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼

' U1 n7 u7 i7 J) g; _

9 v- G3 f( {" g9 R) n& A& U6 t如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。

hilalchemist

太炫酷了,满满的科技感