搞定音频技术
冯建元
声网 Agora 音频算法专家
5340 人已学习
新⼈⾸单¥59
登录后,你可以任选3讲全文学习
课程目录
已完结/共 19 讲
搞定音频技术
15
15
1.0x
00:00/00:00
登录|注册

15|AI变声:音频AI技术的集大成者

你好,我是建元。
AI 技术在音频领域发展十分迅速。除了我们之前讲的降噪、回声消除以及丢包补偿等方向可以用 AI 模型来提升音质听感之外,AI 模型还有很多有趣的应用。其中比较常见的有 ASR(Automatic Speech Recognition)可以理解为语音转文字,TTS(Text To Speech)文字转语音和 VPR(Voice Print Recognition)声纹识别等。
在之前讲音效算法的时候,我们知道,要做到变声需要改变整个语音信号的基频,还需要改变语音的音色。传统算法是通过目标语音和原始语音,计算出基频差距和频谱能量分布的差异等特征,然后使用变调、EQ 等方法来对语音进行调整,从而实现变声(Voice Conversition,VC)。
但这些特征的差异,在发不同的音,不同的语境中可能都是不一样的。如果用一个平均值来进行整体语音的调整,你可能会发现有的音变声效果比较贴近目标语音,而有的音,可能会有比较大的偏离。整体听感上就会觉得变声效果时好时坏。
甚至由于某些发音在改变了频谱能量分布后,共振峰发生了较大改变,连原本想表达的语意都发生了变化。所以为了获得比较好的变声效果,我们需要实时对语音做动态的调整,而这使用传统算法显然是无法穷尽所有发音、语境的对应变化关系的。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

音频AI技术在变声领域的集大成者,通过ASR(语音转文字)、TTS(文字转语音)和VPR(声纹识别)等AI模型,实现了语音的动态调整和变声功能。传统算法无法穷尽所有发音、语境的对应变化关系,而AI模型可以实现实时的语音调整,提升变声效果。ASR通过声学模型和语言模型实现语音转文字,而TTS则通过合成器和声码器将文字转换为语音特征。在变声任务中,利用VPR提取目标声音的声纹,结合ASR和TTS模型,可以实现任意目标声音的转换。基于GAN技术的变声模型也实现了端到端的变声方案。这些技术的发展为音频领域带来了更加丰富和灵活的应用前景。 文章总结:音频AI技术在变声领域的集大成者,通过ASR、TTS和VPR等AI模型实现了语音的动态调整和变声功能。传统算法无法穷尽所有发音、语境的对应变化关系,而AI模型可以实现实时的语音调整,提升变声效果。基于GAN技术的变声模型也实现了端到端的变声方案。这些技术的发展为音频领域带来了更加丰富和灵活的应用前景。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《搞定音频技术》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(3)

  • 最新
  • 精选
  • 晓龙
    为什么不引入延迟变声的效果就会变差呢? 因为说话有语境,有上下文,说话不止需要前参考,还需要后参考,人在说话时,大脑已经预先处理了,说出来就很自然,但是机器不知道你的下一句是什么?所以只能依据前参考,预测后参考,有偏差,自然度就比较差。

    作者回复: 回答正确

    2021-12-27
    1
  • data
    老师想问一下 微信长按发送语音功能使用什么技术实现的,有相关文章吗
    2022-07-24
  • jcy
    Ligusitic Decoding and search algorithm 这里 Ligusitic 是不是应该是 Linguistic
    2022-05-22
收起评论
显示
设置
留言
3
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部