看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

5 p8 H* K% \6 D! e9 }$ l. T前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
9 m$ |# \0 R+ ^6 C7 Z

' ~. \9 @- F$ j2 D: N4 o
, {' t! h" q9 _" v% o最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
$ S5 m' t0 K! i* `, j哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。
  B, X4 f2 w8 L1 S) S! M; A9 s0 A


5 M5 e' T- E9 o! j* m不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。

8 D( W4 q. C2 R, G1 G5 V

有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
你别说，还真有。
传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。
7 g2 t/ q# y8 t/ G/ O
1 B# v9 j- A& u0 q: {. Z

3 j- d# f0 F4 u+ k* i而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
& A# Y) {; ?$ q哎呦，想想都觉得香。
+ j# S7 j9 }% V5 t% G! c要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
传统AI修复前 ▼

  M' g7 ?: d$ l2 Y- Q

修复后 ▼

9 ^' Z! L" z' f% l

7 ?' c# y+ d3 _3 ]上手试试呗。
! C: i  K( Y$ l7 y; B先来介绍一下测试环境。
; o* A9 R" g8 i: ~; @  G这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。


' ^5 f, {1 t3 x/ c) q4 V( O( i# Q
- I) {: D* Z4 Q+ ?0 y6 Y' _) R: ^然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。



$ L2 K8 F6 n! q, }5 Q装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
1 g4 G9 G* n2 q# Y3 Z毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
老黄的新技术，能击穿叔叔吗？
' u5 Y& R- t0 Q! J$ C, y


7 c. g% s( H9 e! |我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
% n# A1 @9 w' l- v1080p 分辨率下效果 ▼
: D( ?! R5 K/ h; k! V

3 P- b1 l( D0 r$ f6 R
) h0 R  u$ l& A' X; U/ |至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
细节上，画质的确有提升，边缘明显锐利一些。
; }8 o5 F' j4 |; N& H9 a* F7 i


) v8 J) I/ N* {. |但真要说它带来了什么整体观感上的变化？

( u  f6 {' a. w9 c5 s; C0 F" I

* f9 b; D: U9 y, O7 v  A几乎没有吧。。。
分辨率1080p ▼



2 Q2 I# V/ r: z而且真要和原生 4k 比起来，那还是差了不止一点。
6 F2 A5 H5 X; v3 Q
1 V9 R. T# n) S

既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
; |8 n; }- L) J1 O# @( G1 i7 {% ?腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？
% j1 H) n9 R+ [2 C& ^2 m7 b
6 L  p* U/ L4 I+ [: H

; Y( \  w8 ^# p; a先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
腾讯视频720p ▼


& f6 O- j2 }8 t
5 @; W- }* ?3 A6 w- w比较静态的人物也优化的不错，至少美颜效果有了。
: {0 G6 K- `. y. r+ S1 |* C$ g& n爱奇艺720p ▼
6 S$ S: e1 f/ a# D4 u

$ b. ^$ O* G; j3 E. _* O
而到了运动场景，那就完全是翻车现场。
AI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
$ m/ F* ]0 f; h7 \; Z这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
腾讯视频720p ▼


0 e0 ^+ {* D4 N/ T& e
+ u' p; X# i" N" ]# N' R( ?1 c而场景中快速运动的人，更是让情况恶化了。
都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
; ?3 H; d0 Y, L( L哼哼，露出 AI 脚了吧 ▼

& I1 N' {0 W- O( C2 m7 a
. O) z) s6 F9 g0 F& ?4 B
/ {. b  k* j' Y4 G+ N  p: l除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼

* y# n% e0 o! O) L8 w5 _2 b
& s- Y6 ]0 ?$ h8 ]
就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
要知道，之前的 AI 修复可是能把一个 DVD
% |  {/ J- j. g# z! h, @9 j（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
4 `- @2 F2 ]* z瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼


* i/ {; p* W$ a1 {8 ?! v1 J2 ~
如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
; \1 p9 p6 B% F9 c7 O3 Q比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。
5 a6 K9 D2 Y( o" m2 m

hilalchemist

太炫酷了,满满的科技感