搞定音频技术
冯建元
声网 Agora 音频算法专家
5340 人已学习
新⼈⾸单¥59
登录后,你可以任选3讲全文学习
课程目录
已完结/共 19 讲
搞定音频技术
15
15
1.0x
00:00/00:00
登录|注册

08|回声消除算法实践指南

你好,我是建元。
上节课我们学习了回声消除算法的基本原理。我们看到,回声消除会受到声学环境、采集播放设备等多种因素的影响。因此,要想实现一个鲁棒、高效的回声消除算法是一件比较有挑战的事情。而在实际的音频实时互动场景中,回声问题可能也是我们碰到的最多的问题之一。
值得注意的是,音频处理往往是一环套一环的链路式的处理结构,回声消除作为音频前处理链路的一环很可能会对整体的音频体验产生影响。所以这节课我会先带你从整体上,了解一下实时音频互动系统的链路是怎么搭建的。然后我们再从几个案例出发,看看我们是如何改进回声消除算法,以及和其它模块配合,来整体提升实时音频的质量的。

实时音频处理链路

从贝尔实验室发明电话后,实时音频处理的技术不断发展,至今基于 VoIP(Voice over Internet Protocol,基于 IP 的语音传输)的实时音频互动已经慢慢成为人们日常音频在线交流的主流方法。图 1 展示的就是这样一个“现代版”的基于 VoIP 的实时音频处理链路。
图1 实时音频处理链路
实时音频可以分为上行链路和下行链路两个部分,其中上行链路中的音频处理步骤可以对应图 1 中的上半部分。我们可以看到,在采集模块(Recording)之后就是我们常说的“3A”处理,包括了 AEC(回声消除)、ANS(降噪)、AGC(音频增益控制)这 3 个部分。之后在 Voice Beautifier and Effects(美声音效)模块我们可能会对人声做一些美化或者加入一些音效,来提升音频的听感。最后把音频进行编码(Encode)传输,至此上行链路也就结束了。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文介绍了实时音频处理链路的搭建和回声消除算法的改进方向。首先介绍了实时音频处理链路的构建,包括上行链路和下行链路的处理步骤,以及回声消除算法在链路中的位置和影响。通过两个案例分析了回声消除算法可能出现的问题和改进方向。其中,针对混响问题,提出了采用分块频域自适应滤波器(PBFDAF)来解决滤波器长度过长的问题,以及根据场景中混响时间的估算来调整滤波器长度的建议。文章深入浅出地介绍了回声消除算法在实时音频处理中的重要性和应用,为读者提供了实践指南和案例分析,有助于读者快速了解回声消除算法的实际应用和改进方向。同时,还介绍了Speex和WebRTC中的AEC算法的特点和差异,以及基于机器学习的方法在AEC领域的应用。文章提出了思考题,引发读者对音乐场景下AEC改进的思考。整体而言,本文内容丰富,涵盖了实时音频处理领域的重要技术和发展趋势,对读者具有一定的参考和指导意义。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《搞定音频技术》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(7)

  • 最新
  • 精选
  • 徐刚
    老师,推荐下nlp的AI处理可以参考哪些论文,或开源代码?

    作者回复: AEC的比赛这几年比较多比如2021的 AEC challenge上有很多不错的论文和结果:https://www.microsoft.com/en-us/research/academic-program/acoustic-echo-cancellation-challenge-icassp-2021/

    2021-12-08
    1
  • Geek_7de4c5
    老师双讲检测有哪些论文可以推荐一下吗?感谢

    作者回复: 这个有不少,可以自行搜索一下,我这里放两个FYI: Normalized Double-Talk Detection Based on Microphone and AEC Error Cross-correlation Acoustic Echo Cancellation Using Iterative-Maximal-Length Correlation and Double-Talk Detection

    2021-12-08
    1
  • Geek_7de4c5
    音乐场景下能量集中在高频,尽量避免做对高频做非线性处理。

    作者回复: 高频做线性处理本声可能算力就会有所挑战

    2021-12-08
  • Murakaxi
    音乐场景频域更大,需要尽可能保留全频段;音乐的音量大,可以掩盖住噪声,这时其实不用做ANS和AGC。
    2022-10-08归属地:新加坡
    1
  • Geek_4af093
    https://blog.csdn.net/zhying719/article/details/110913933 这个补充资料不错
    2023-01-18归属地:湖南
  • 老师ffmpeg可以结合speex做视频融合后的回声消除吗
    2022-08-11归属地:福建
  • 四十
    老师这个可以提供一个答案吗
    2022-04-26
收起评论
显示
设置
留言
7
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部