看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

* z- q' U8 U) r* l+ l; O3 X6 A
9 a5 }+ H0 j; _& H& B; E
# F" o' `5 `8 @4 o前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。



最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。

. H' j' ^/ M6 Z
7 D6 c  T/ R+ G
5 l8 u( Q8 L( x  f; h: L3 m1 C. P* K不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。

& o9 a9 q+ S) i

有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
你别说，还真有。
* G& U" n- H7 p9 O& s! t( ?传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。
+ o! Q9 @, M9 c1 o0 @* Y! v# Z- |2 B4 I
* K8 l# X) f: a$ R, u- a

" r/ t: W# o5 r3 A2 G而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
哎呦，想想都觉得香。
' G. a: N: a9 W" G要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
传统AI修复前 ▼



, l0 G, d! b; r5 |  Q! ?4 L! a修复后 ▼


" S6 q. V& s/ z, t) Y: o( a
上手试试呗。
2 g/ {' y9 s3 g& X先来介绍一下测试环境。
5 j2 d. w- L# ?" y. n" {这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
# G2 C: m  g: t6 E由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。

7 @/ C" z: A& B- Z

然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。
* v& Z' I# V$ T- w% @) Y" E1 i

1 D! I  j6 S! \, h# t" A
4 _* F8 W4 U9 x  Y8 u/ s装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
3 _+ G  E# ?7 n3 E+ T! a毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
老黄的新技术，能击穿叔叔吗？

0 [6 ]- v0 [+ ~3 x9 Y- x2 I5 M; X* |

我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
7 b' I( B6 C# N/ i! R. b7 \! C* h1080p 分辨率下效果 ▼

  e/ r7 V! e& A1 u+ y9 q5 B/ M

至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
: v4 g/ }, ]$ M; S4 @$ u' ?: V+ Z: f' T细节上，画质的确有提升，边缘明显锐利一些。
, b: e* i: [. C( U* X9 y
5 f7 E1 s! r3 |
# ?/ k, A/ J$ O7 O: F
但真要说它带来了什么整体观感上的变化？
6 q7 P' w6 M9 E! s: {! k# ]
8 o. u- a5 y- q' O
6 x& d0 T6 r% r6 Z
几乎没有吧。。。
; A% }( M" K, o+ f& H& v! V分辨率1080p ▼
& n1 H, ?( e: o: b' M. s8 W$ X7 |" j
2 z# s% Q- |$ R* b; ?
. I& D5 ~# d1 V$ O
/ I9 z  Z6 L' s& P而且真要和原生 4k 比起来，那还是差了不止一点。

- z1 H5 e& v2 U8 W9 R9 O2 I
3 T0 C- ?9 T  D: |
$ V( b& I* @8 A' ]$ ~3 z既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
+ P0 Q' h  D" C8 R9 O) w腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？
. V  c. w7 v: k; s0 a0 C8 ~


1 e2 K' \6 r3 s: {先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
  p4 F$ O( N. E& \" u" Q在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
腾讯视频720p ▼
* S1 X. [( M( u& N6 o$ e$ R. R7 l. u

  R8 n# ~3 F) ], z5 T1 c5 R
) Z8 s$ ?  N% K3 F比较静态的人物也优化的不错，至少美颜效果有了。
0 r, S4 R9 R+ ^6 U' a# ~; s1 ^7 }% b爱奇艺720p ▼

# k7 H9 T# w- g/ |! M% ^4 B
6 n: r, [- q7 X3 p
而到了运动场景，那就完全是翻车现场。
AI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
7 o8 R, o) r! i6 z! M这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
0 `6 i6 O& a# }( O# g+ ^' u) |$ Y腾讯视频720p ▼
$ a$ A; G5 Q) f% R3 N8 Q% N


. C6 N. p* x* o3 M+ y而场景中快速运动的人，更是让情况恶化了。
都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
2 A" y3 @: E$ \1 b$ W/ O; w哼哼，露出 AI 脚了吧 ▼
2 `; K7 j. X# Q  Q


' v1 {* Z3 W7 s$ t! d; l除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼

6 }. R6 f& U* d

% r3 G: F0 b8 {2 A" T# S就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
6 h% X+ d) a- n$ r总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
+ o! O; V. ]2 j3 o/ W( w要知道，之前的 AI 修复可是能把一个 DVD
（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
% R5 j9 j1 r9 r1 a瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼
" s  F" S. b5 U4 o, G5 a

, ~9 n* W; }# J" C, p
如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
1 N* A' M8 A' x' A, {不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。
, d( l! B  g$ R: C

hilalchemist

太炫酷了,满满的科技感