攻克视频技术
李江
声网 Agora 视频专家
7494 人已学习
新⼈⾸单¥59
登录后,你可以任选3讲全文学习
课程目录
已完结/共 19 讲
攻克视频技术
15
15
1.0x
00:00/00:00
登录|注册

加餐|基于纯浏览器的视频会议方案探究

你好,我是章韦。目前就职于某知名外企,任职 Technical Leader,主要研究方向为信令控制及媒体传输相关领域。很开心受邀来到李江老师的专栏做一期加餐分享。今天我会围绕“基于纯浏览器的视频会议方案”谈一谈我的想法,期待能给你带来一些启发。
随着视频编解码技术的快速发展以及带宽成本的逐年降低,视频技术被广泛应用于生产生活中各个不同的领域,而视频会议则是其中最广泛的应用之一。伴随着这几年疫情在全球肆虐,各式各样的商业视频会议软件如雨后春笋,从全球范围来说,除了老牌的 Cisco Webex、微软的 Teams,还有新晋王者 Zoom Meetings,   国内来说,不论是阿里还是腾讯,都推出了自己的视频会议软件。
那么这节课我们就偏居一隅,聊一聊各大视频会议厂商在基于纯浏览器视频会议上的一些尝试和遇到的问题,以及各主流浏览器在底层接口上提供的一些支持,并对其中涉及到的一些技术栈展开一定介绍。

WebRTC

提到 Web App 和浏览器对媒体传输的支持,首先不得说 WebRTC,典型的基于 WebRTC 的会议系统架构如下:
结合上面的架构图和流程图来看,WebRTC 的 Web App 似乎并不复杂,几乎所有的前后端模块都能找到成熟的开源实现。然而对于传统的视频会议提供商来说,支持 WebRTC 却并非这么简单。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

基于纯浏览器的视频会议方案探究 视频会议技术在疫情期间得到了广泛应用,各大厂商纷纷推出基于纯浏览器的视频会议软件。然而,基于WebRTC的视频会议系统架构存在一些挑战。首先是QoS问题,传统的视频会议企业的网络适应性算法无法直接用于WebRTC,而不同浏览器的兼容性也增加了开发成本。另外,WebRTC并未提供丰富的媒体处理接口,限制了开发者在Web App中提供更多功能。此外,TURN/STUN对于TCP 443端口的兼容性问题也是一个挑战。 为了应对这些问题,文章提出了一种失败转移方案,通过WebWorker和WebAssembly实现了自己的媒体处理流水线,从而支持更多面向客户的功能,并在浏览器端实现自己的QoS方案。然而,这种方案的媒体数据是通过信令通道进行传输,而非常规情况下希望媒体数据能够走自己单独的数据通道。 总的来说,基于纯浏览器的视频会议方案面临着QoS、媒体处理接口和网络传输通道等方面的挑战,但通过一些创新的解决方案,可以克服这些问题,为用户提供更丰富的视频会议体验。 文章还提到了进一步优化方案,包括基于SCTP传输协议的传输通道DataChannel的增加,丰富媒体处理流水线以实现滤镜、虚拟背景等媒体处理需求,以及统一的可跨浏览器的QoS算法。此外,Chrome浏览器的WebTransport和WebCodecs规范也被提及,可以进一步提高视频编解码效率。 综上所述,基于纯浏览器的视频会议方案在面临挑战的同时,也有着不断创新和优化的空间,为用户提供更高质量的视频会议体验。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《攻克视频技术》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(7)

  • 最新
  • 精选
  • Chris Zou
    赞,待慢慢消化,希望多多加餐,每一讲都有扩展的参考文献!

    作者回复: 后面会有不定期加餐吧,有时间就写写

    2021-12-24
    2
  • 夏天的水獭
    就一讲时间还不如把一个点的说清楚些。一路听课到这里,就这讲感觉浪费时间了~
    2021-12-24
    2
  • jcy
    提到 Web App 和浏览器对媒体传输的支持,首先不得说 WebRTC 这里 首先不得说 WebRTC 应该是 首先不得不说 WebRTC 吧
    2022-08-02归属地:北京
  • newzai
    还不如使用quic来传输媒体数据
    2022-04-14
  • Chris Zou
    QOS有现成的开源JS版本吗?webrtc都是用C++来写的吧?
    2022-01-22
  • tony
    基于sctp传输方案在实际生产环境中效果如何?除遇到cpu高的问题以后还遇到过哪些问题?谢谢。
    2022-01-04
  • 叫什么好呢
    非常感谢章韦老师的分享。给老师点赞👍
    2021-12-24
收起评论
显示
设置
留言
7
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部