18｜多模态：用大语言模型进行TTS/ASR/OCR

黄佳

你好，我是黄佳。
说到多模态，最常见的当然是图 / 文之间的相互转换，也就是给出提示文字，让 Stable Diffusion / Midjourney / DALL-E 这样的模型出图。或者是把图片丢给大语言模型，然后让大语言模型给出图片的解说性文字。
上面这两种多模态系统都已经很常见了，尤其是文生图模型，那绝对是 AIGC 的主力军，大大提升了设计人员的工作效率，甚至让普通人也能画图。
而视频方面，上一讲中，我们已经介绍了 GPT-4o 对视频的解读，而随着 Sora 的问世，也让普通人拥有了制作出电影级别的特效的梦想。
今天，我们接着来把多模态的处理进一步补全，具体来说说 TTS、ASR 和 OCR 这三种形式。
TTS/ASR/OCR这三种多模态形式虽然没有图文和视频这样耳熟能详，但是也都是常见课题，其中：
TTS（Text-to-Speech，文本转语音）：将文字信息转化为语音输出的技术。
ASR（Automatic Speech Recognition，自动语音识别）：将语音信号转化为文字的技术。
OCR（Optical Character Recognition，光学字符识别）：将图像或扫描件中的文字转化为可编辑的文本的技术。
大语言模型在这些领域都有广泛的应用。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
法语
德语
日语
韩语
俄语
西班牙语
解释
总结

1. 大语言模型在TTS、ASR和OCR等多模态形式中的应用 2. TTS实战案例中使用大语言模型进行TTS的代码示例和音频格式选择 3. ASR实战案例中对视频和音频进行预处理，并使用OpenAI的whisper-1模型进行语音识别

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《大模型应用开发实战》，新⼈⾸单¥59

立即购买

登录后留言

精选留言

由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。

收起评论