06|如何将AI技术运用到降噪中?
![](https://static001.geekbang.org/resource/image/7f/de/7f2519788a6760df43120bd5917a0fde.jpg)
AI 降噪模型的基础知识
- 深入了解
- 翻译
- 解释
- 总结
![](https://static001.geekbang.org/resource/image/d0/e4/d0880927e2a522a038be2d04bf19dfe4.png)
AI技术在降噪领域的应用备受关注。传统降噪算法在应对非稳态和瞬态噪声时效果有限,而基于人工神经网络模型的AI降噪算法取得了显著进展。文章介绍了AI降噪模型的基础知识,包括常见的模型结构,如深度神经网络(DNN)、卷积神经网络(CNN)和循环神经网络(RNN)。这些模型通过大量带噪和纯净的语音数据进行训练,以实现对带噪语音信号的降噪处理。此外,文章还提到了AI降噪算法在实时音频互动场景中的部署难题,包括设备算力、存储体积等条件的限制。基于频域掩码的AI降噪算法通过STFT得到频域信号,利用人工神经网络得到频域掩码,进而实现降噪处理。在实践中,增加相位谱的恢复相比只对幅度谱做修正,需要消耗更多的算力和模型存储空间,可能会为模型的部署造成困难。总体而言,AI降噪模型的工程部署需要考虑因果性,即音频未来信息无法获取,因此在模型选择和设计中需要引入一定的延迟。 在模型部署时,尤其是手机、IOT等移动端的部署,设备的算力和存储空间都会受到限制。因此,在设计模型结构时需要考虑模型结构、算力复杂度和参数量之间的关系。另外,可以通过参数量化和模型输入特征的优化来适配设备。AI降噪模型一般采用有监督的训练方式,并以带噪语音作为模型的输入、纯净语音作为训练的目标。基于频域掩码的AI降噪模型是目前最为常用的设计,但在移动端部署时,受算力影响,基于幅度谱的AI降噪模型可能是最好的选择。在实时音频信号系统中,降噪模型需要考虑到模型的因果性。在实践中,数据库的准备对于自己训练一个AI降噪模型至关重要。 总的来说,AI降噪模型的工程部署需要综合考虑模型结构、算力复杂度、参数量、因果性以及设备适配等因素,以实现在移动端等设备上高效部署。
《搞定音频技术》,新⼈⾸单¥59
全部留言(12)
- 最新
- 精选
- Geek_b6a303老师,在训练中,对于噪声与纯净声mix时的信噪比该如何把控,每次统一相同的信噪比,还是设置多种信噪比的数据放在一起进行训练?
作者回复: 信噪比应该是要多样的,一般-6到18dB的常见情况都需要考虑
2022-03-08 - pencilCool"但只改变相位谱的频域掩码不能做到对纯净语音的完美重建。听感上还是能听出一些不同。" 这里是不是有个typo。 应该是“但**不**改变相位谱的频域掩码不能做到。。。”
作者回复: 多谢指正
2022-01-26 - 坚坚老师,请问AI降噪也是和基于统计模型一样具备实时降噪特性吗? 训练后的模型还会根据过程中不同环境,自动调节网络参数吗?
作者回复: 是的,AI降噪实际上是把不同环境的决策放到了模型里统一考虑,所以实施降噪时面对不同的情况也能自动调整应对。
2021-12-09 - ForwardsHao老师 在前面介绍常用模型结构的地方,说到了“多层的线性网络”,这个应该是描述不准确的,网络要效果好,重要的是加入了非线性激活函数,单纯的线性函数叠加是不会有逼近任意函数的效果的,也就起不到好的效果的,每一层都不是简单的前一层的加权平均
作者回复: 是的,激活函数是可以增加模型的非线性处理能力。其实最早的BP network是没有激活函数的所以对某些场景的表现一直不佳。篇幅有限激活函数加还是不加、加什么样的这里就不具体讨论了。
2021-12-05 - Geek_7de4c5基于频域掩码的 AI 降噪算法能给个demo吗?
作者回复: https://github.com/xiph/rnnoise,可以看看这个经典的RNNnoise
2021-12-03 - 晓龙想要什么声音,就可以将目标数据设置成什么声音,例如需要过滤人声,保留音乐声,就将人声+音乐声作为输入,音乐声作为输出,然后经过AI模型,对比目标,求loss,调整AI模型参数,循环往复,直到梯度下降到一个稳定的数值,这个模型就能过滤人声,保留音乐声。 当然以上还设计到很多细节,例如网络选择,声音预处理,语料库等
作者回复: 回答的不错
2021-12-03 - 徐刚有AI降噪的工程实践例子吗(从训练到工程落地)方便我们小白更加明白ai降噪的操作流程
作者回复: 可以用开源的RNNnoise,练个手https://github.com/xiph/rnnoise
2021-12-03 - 罗 乾 林人声+噪音 -> 人声 人声+音乐+噪声 -> 人声+音乐 音乐+噪声-> 音乐
作者回复: 大体如是,其实这里的难点是区分音乐和噪声。这个在行业内也是一个难点
2021-12-03 - 勿更改任何信息请问老师,如果收音的时候有导航声音录进去了,该怎么降噪去除呢2023-04-05归属地:北京
- 刘浩AI 降噪模型训练步骤里的第二步: “通过 AI 降噪模型得到估计的纯净语音信号”,那这里说的“AI降噪模型”是怎么来的呢2022-10-10归属地:北京