京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 5620|回复: 0

视频会议传输延时应该如何“低”?

[复制链接]

16

主题

0

回帖

10

积分

新手上路

积分
10
发表于 2019-5-25 18:23:48 | 显示全部楼层 |阅读模式 来自 中国
万物互联的时代,音视频实时通讯的应用场景已随处可见,从“吃鸡”的语音对讲、直播连麦,到企业日常远程视频会议、与合作伙伴的远程会商,再到医院的远程会诊、智能银行VTM的远程视频开户等。对于解决方案服务商来讲,除了关注如何能快速实现不同应用场景的音视频通讯,另一个更需要关注的可能就是“低延时”。但是,到底实时音视频传输延时应该如何“低”,才能满足你的应用场景呢?小南将看到的专家剖析截取部分分享给大家。9 Y4 }5 {8 K2 V5 o
在音视频传输过程中,在不同阶段都会产生延时。总体可以分为三类:
+ H: b! m4 }  \4 Q8 k- n# n9 U8 N7 ~6 I1 v

7 x, S$ x+ i" }( U  B
1 A! Y( E6 C5 r- T5 U1 v# w- UT1:设备端上的延时
6 Q5 Y( K) M2 z% [1 D+ k% x音视频数据在设备端上产生延时还可以细分。设备端上的延时主要与硬件性能、采用的编解码算法、音视频数据量相关,设备端上的延时可达到 30~200ms,甚至更高。如上表所示,音频与视频分别在采集端或播放端产生延时的过程基本相同,但产生延时的原因不同。1 O; M4 K/ x# P7 p; u. H8 M
——音频在设备端上的延时:4 C6 ~! i  s1 W2 M( ]+ X, r; u
音频采集延时:采集后的音频首先会经过声卡进行信号转换,声卡本身会产生延时,比如 M-Audio 声卡设备延迟 1ms,艾肯声卡设备延迟约为 37ms;
+ k8 R+ s( M: n, N$ j# t6 v编解码延时:随后音频进入前处理、编码的阶段,如果采用 OPUS 标准编码,最低算法延时大约需要 2.5~60ms;% x1 A) M/ M6 B" x. h6 l
音频播放延时:这部分延时与播放端硬件性能相关。
- e; d8 Z1 ?( {0 Q  m音频处理延时:前后处理,包括 AEC,ANS,AGC 等前后处理算法都会带来算法延时,通常这里的延时就是滤波器阶数。在 10ms 以内。
. L) u6 S# S  W$ j3 o5 r: k) R8 c% H: H2 K端网络延时:这部分延时主要出现在解码之前的 jitter buffer 内,如果在抗丢包处理中,增加了重传算法和前向纠错算法,这里的延时一般在 20ms 到 200ms 左右。但是受到 jitter buffer 影响,可能会更高。6 m: B( w; U2 [/ n
——视频在设备端上的延时:5 Z% l# O$ U) D4 E' Q  t
采集延时:采集时会遇到成像延迟,主要由 CCD 相关硬件产生,市面上较好的 CCD 一秒可达 50 帧,成像延时约为 20ms,如果是一秒 20~25 帧的 CCD,会产生 40~50ms 的延时;. k( _$ l% g! o1 @
编解码延时:以 H.264 为例,它包含 I、P、B 三种帧(下文会详细分析),如果是每秒 30 帧相连帧,且不包括 B 帧(由于 B 帧的解码依赖前后视频帧会增加延迟),采集的一帧数据可能直接进入编码器,没有 B 帧时,编码的帧延时可以忽略不计,但如果有 B 帧,会带来算法延时。2 e" z' w: y4 w! e) m- S- U* M
视频渲染延时:一般情况下渲染延时非常小,但是它也会受到系统性能、音画同步的影响而增大。7 w' i" e2 Y  U9 ^
端网络延时:与音频一样,视频也会遇到端网络延时。
" [9 U7 ^% i, n9 j另外,在设备端,CPU、缓存通常会同时处理来自多个应用、外接设备的请求,如果某个问题设备的请求占用了 CPU,会导致音视频的处理请求出现延时。以音频为例,当出现该状况时,CPU 可能无法及时填充音频缓冲区,音频会出现卡顿。所以设备整体的性能,也会影响音视频采集、编解码与播放的延时。
4 e6 I) [& Z: y7 }2 x( v" I' J& W7 WT2:端与服务器间的延时
$ H+ `! }; A& A6 c- \影响采集端与服务器、服务器与播放端的延时的有以下主几个因素:客户端同服务间的物理距离、客户端和服务器的网络运营商、终端网络的网速、负载和网络类型等。如果服务器就近部署在服务区域、服务器与客户端的网络运营商一致时,影响上下行网络延时的主要因素就是终端网络的负载和网络类型。一般来说,无线网络环境下的传输延时波动较大,传输延时通常在 10~100ms 不定。而有线宽带网络下,同城的传输延时能较稳定的低至 5ms~10ms。但是在国内有很多中小运营商,以及一些交叉的网络环境、跨国传输,那么延时会更高。
% H3 W, }' D- U2 d8 iT3:服务器间的延时$ A% f' B5 o, N" x3 c. t
在此我们要要考虑两种情况,第一种,两端都连接着同一个边缘节点,那么作为最优路径,数据直接通过边缘节点进行转发至播放端;第二种,采集端与播放端并不在同一个边缘节点覆盖范围内,那么数据会经由“靠近”采集端的边缘节点传输至主干网络,然后再发送至“靠近”播放端的边缘节点,但这时服务器之间的传输、排队还会产生延时。仅以骨干网络来讲,数据传输从黑龙江到广州大约需要 30ms,从上海到洛杉矶大约需要 110ms~130ms。
1 ?$ B8 @. [  q在实际情况下,我们为了解决网络不佳、网络抖动,会在采集设备端、服务器、播放端增设缓冲策略。一旦触发缓冲策略就会产生延时。如果卡顿情况多,延时会慢慢积累。要解决卡顿、积累延时,就需要优化整个网络状况。! y: P( k* c9 t
综上所述,由于音视频在采集与播放端上的延时取决于硬件性能、编解码内核的优化,不同设备,表现不同。所以通常市面上常见的“端到端延时”指的是 T2+T3。9 ~' V% ?; R' r0 z* `# z( f
延时低≠通话质量可靠5 \# V; ^2 V8 b  Q& O, K
不论是教育、社交、金融,还是其它场景下,大家在开发产品时可能会认为“低延时”一定就是最好的选择。但有时,这种“追求极致”也是陷入误区的表现,低延时不一定意味着通讯质量可靠。由于音频与视频本质上的差异,我们需要分别来讲实时音频、视频的通讯质量与延时之间的关系。
# a$ _- y, L. X0 N& I% B; w——音频质量与延时
% w/ V  Q. r, w* z0 N9 S, B
+ r( i  o. d$ i& ^9 R

) z) b* e- O9 m; J0 n9 O
. D- q% T8 s3 j2 j6 t( c. ~: C音频采样示意图6 M0 ~" b; f/ m0 y% M5 f3 A( H; d% K
影响实时音频通讯质量的因素包括:音频采样率、码率、延时。音频信息其实就是一段以时间为横轴的正弦波,它是一段连续的信号(如上图)。
  B) Q, K0 p) {, q' }码率:它描述了单位时间长度的媒体内容需要空间。码率越高,意味着每个采样的信息量就越大,对这个采样的描述就越精确,音质越好。* h2 K9 Z" Z6 Q/ |' v
假设网络状态稳定不变,那么采样率越高、码率越高,音质就越好,但是相应单个采样信息量就越大,那么传输时间可能会相对更长。
/ |( S) d% }2 J7 M  b7 d对照我们之前的公式,如果想要达到低延时,那么可以提高网络传输效率,比如提高带宽、网络速度,这在实验室环境下可以轻易实现。但放到生活环境中,弱网、中小运营商等不可控的问题必定会影响网络传输效率,最后结果就是通讯质量没有保障。还有一种方法,就是降低码率,那么会损失音质。* m& |7 v$ R7 s% a+ n
——视频质量与延时
. x6 U7 [. W9 s, x( A6 q影响实时视频质量的因素包括:码率、帧率、分辨率、延时。其中视频的码率与音频码率相似,是指单位时间传输的数据位数。码率越大,画面细节信息越丰富,视频文件体积越大。
1 X! E7 {, w6 S1 c+ @" N+ @2 f1 h8 t0 y' s
- X! k( z# G: n3 j6 O% x% l4 a

" y/ Q2 B. d4 C9 i. r  O帧:正如大家所知,视频由一帧帧图像组成,如上图所示为 H.264 标准下的视频帧。它以 I 帧、P 帧、B 帧组成的 GOP 分组来表示图像画面(如下图):I 帧是关键帧,带有图像全部信息;P 帧是预测编码帧,表示与当前与前一帧(I 或 P 帧)之间的差别;B 帧是双向预测编码帧,记录本帧与前后帧的差别。
. O7 P2 r- x8 W! u( q8 Y9 c帧率:它是指每秒钟刷新的图像帧数。它直接影响视频的流畅度,帧率越大,视频越流畅。由于人类眼睛与大脑处理图像信息非常快,当帧率高于 24fps 时,画面看起来是连贯的,但这只是一个起步值。在游戏场景下,帧率小于 30fps 就会让人感到画面不流畅,当提升到 60fps 时会带来更实时的交互感,但超过 75fps 后一般很难让人感到有什么区别了。; R  s: i/ N1 d
分辨率:是指单位英寸中所包含的像素点数,直接影响图像的清晰度。如果将一张 640 x 480 与 1024 x 768 的视频在同一设备上全屏播放,你会感到清晰度明显不同。5 e; _( y6 O' x
在分辨率一定的情况下,码率与清晰度成正比关系,码率越高,图像越清晰;码率越低,图像越不清晰。3 k7 ~5 ^3 R1 v' V) E5 Z
在实时视频通话情况下,会出现多种质量问题,比如:与编解码相关的画面糊、不清晰、画面跳跃等现象,因网络传输问题带来的延时、卡顿等。所以解决了低延时,只是解决了实时音频通讯的一小部分问题而已。0 }! c3 P- ^6 t/ H, G" J, [
综上来看,如果在网络传输稳定的情况下,想获得越低的延时,就需要在流畅度、视频清晰度、音频质量等方面进行权衡。! e+ l3 {# w" x
2 B/ U  x% N9 W6 S% B% }/ E
8 s! U5 }7 p& N
% k& y1 |* b1 w, i
来源:http://mp.weixin.qq.com/s?src=11&timestamp=1558778404&ver=1628&signature=rcNx1By1kwoTdFu2BVJ-F2NXmoBaZS4mAcYEbkxsc1hQBIzgL0Gm0uKPCJk96Nix*C2*bNnsK*KuDMKpETPY078ikxZGC2wwocvSqFr5bKr1pqvXQXH3Bnd1vHXEKNSa&new=1; @. m: s4 {9 K  c  R& y! F
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /6 下一条

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2025-7-26 22:59 , Processed in 0.040579 second(s), 26 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表