看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

5 X+ [; n7 j  v' q" m* x" Y, P
1 u7 L) c! Z2 b* e
前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。


, [& x" h; {5 h1 P1 Q/ Z0 c
1 d  r: N6 K/ Y/ K* g最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。
1 S* l2 B3 g, }; C" ~. O; T; z, Z
% \4 Z! H3 p. V* f

5 A$ D0 h1 k" X7 \' v不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。



: q5 [5 p, @( i  X; H0 [有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
你别说，还真有。
( \  Q  ]# X0 K. z传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
* e4 ]# b2 X: h( C! c1 ]举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。


+ r- ]6 O* g' R$ U* @
而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
哎呦，想想都觉得香。
要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
传统AI修复前 ▼
4 `! K7 N: [. i1 V
" W  w4 l- ?% [- e) e. U
) j$ Y. l% p9 e8 x0 r3 M3 y+ S
修复后 ▼
  T( z% N+ V, z+ F# h5 w
( h) h, \2 t, k7 k+ g) y3 w( c
8 [+ v2 Z; N2 W3 d
上手试试呗。
先来介绍一下测试环境。
这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。
- g3 i  X- k  ?9 ~; i
% W$ D! _9 D+ {( H6 a) s
6 c% w3 p5 w1 [+ e+ `
/ |: a* Z) g2 _1 l0 U/ a然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。
7 r( K4 I2 ~% E2 `7 _$ d

* D% v% i1 j* ~% f# D* Q( T1 `
) P/ R1 {* E+ ]5 A( I装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
老黄的新技术，能击穿叔叔吗？
6 ~" P0 I7 ^8 E5 E$ y! ^( p% u
3 L/ `4 M& f, N; ^- y4 C' m3 E
- t) t5 N" E( ?1 z5 k
我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
% w+ g: B; r, ^6 I) _/ a从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
1080p 分辨率下效果 ▼



& d, ?! N) w  x8 _: z; p% v至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
细节上，画质的确有提升，边缘明显锐利一些。


1 h3 e  D4 |8 D3 a. `: A
但真要说它带来了什么整体观感上的变化？
6 D$ V- H1 w; r$ X! H

7 b- @( Y; `8 B9 m2 I: C
几乎没有吧。。。
分辨率1080p ▼


$ `0 E0 @  C: j8 a% w. I3 J
而且真要和原生 4k 比起来，那还是差了不止一点。
6 w/ y) r3 d6 U8 U+ W5 b


1 k# y6 m1 e* R( H( V既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？


2 n, [% R, I1 J2 a) v$ c
先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
! b/ X) V* b3 E$ a在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
) a( e0 R& G: H2 x; o+ i) r) q2 Z+ f腾讯视频720p ▼
1 l' t8 ~7 `) ^+ l' }# M


比较静态的人物也优化的不错，至少美颜效果有了。
) o" S  n3 |3 [爱奇艺720p ▼
6 s5 a5 r: ^, n- I* ]% Y6 N+ c3 b
6 Q; d9 g& e! n6 ?) @

* N* f4 Q8 v, [& }而到了运动场景，那就完全是翻车现场。
8 K, K( O; T% l! {6 Z& OAI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
% |6 u9 Z. J- |, c; \腾讯视频720p ▼
! E& k/ C/ n# n# q. i7 C
( `1 s) |4 P- z9 U; i
+ Z( a: l+ ]& z: o! Z
/ A  A* V% ?) i8 [% i2 Z1 {: [4 y而场景中快速运动的人，更是让情况恶化了。
) T5 ~$ y( T8 l. f( R% h3 b$ p* T都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
4 g# K* F5 `( o& \& A" A哼哼，露出 AI 脚了吧 ▼
1 D  g3 M/ g" _5 K/ j  e: w6 f2 u7 Y$ Z
5 p+ y$ ?4 F; k
6 E3 W) |" D; T0 U: J. n. e( R
除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼
7 ?" G, J9 T3 X. ~" B7 x


( E1 I2 u( X3 l# t+ Y, l& G* R$ @就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
( p+ `& O# Y1 Z1 v要知道，之前的 AI 修复可是能把一个 DVD
（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼
) S4 e$ n  d- D" n" h8 ^- Y

5 b% a4 X& a9 N/ z2 }& Z( F
' t! C- f5 F% G- k( n/ C( K如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
3 |. B0 x* N+ u, I$ L) C$ j) Q6 o比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。

hilalchemist

太炫酷了,满满的科技感