AI 大模型项目落地实战
蓝金伟
AI 创业者,前新浪网技术专家
685 人已学习
新⼈⾸单¥59
AI 大模型项目落地实战
15
15
1.0x
00:00/00:00
登录|注册

03|初体验:Ollama 本地大模型与多模态大模型

你好,我是金伟。
前面两节课我们分别聊到大模型的基础架构 Transformer,以及 ChatGPT 是如何在 Transformer 基础上做的工程创新,最终做到了智能涌现。
需要说明的是,我自身也是一个应用开发人员,对于这些基础原理的需求就是了解即可,我会把更多的精力用在实战开发上。喜欢动手的工程师可能都会想自己训练一次大模型,本节课正是为此准备的。
Ollama 是一个全新的本地可运行的大模型框架,适合零基础的同学体验多种大模型,你可以把它看做一个可以本地运行的 “ChatGPT”。
这节课我们还会用到 GPT-SoVITS。这是一个 TTS(Text-to-Speech,文本转语音)‌大模型,也可以在本地运行。你可能也都听说过多模态这个词,GPT-SoVITS 就是一个语音类的多模态模型。
咱们这节课的任务,就是结合 Ollama 的文本能力和 GPT-SoVITS 的语音能力,开发一个可以本地运行的实时语音聊天助手,实现一个类似 ChatGPT 的语音助手。

Ollama 本地大模型

传统的大模型开发需要大量的 GPU 资源,以参数量最小的 Llama 2 7B 为例,也需要 14G 显存,而且每一种大模型都有自己的开发接口,这导致普通人很难在自己的本地环境构建大模型、体验大模型。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. Ollama是一个本地可运行的大模型框架,采用模型量化技术降低大模型对显存的需求,使普通开发者可以方便地下载、安装和使用各种大模型。 2. Ollama提供命令行运行模式和接口API,支持用户定制自己的大模型,并提供Python代码调用大模型的接口,使用户可以在Ollama框架下编写自己的AI应用。 3. Ollama支持大模型微调,用户可以在现有模型基础上进行数据微调,以实现特定应用场景下的定制化需求。 4. 多模态大模型是指除了文本外,还支持其他输入输出格式,如图片、语音、视频等,OpenAI的GPT-4已经实现了大模型的多模态。 5. 模型量化技术通过调整模型参数的精度,降低了大模型对显存的需求,使得大模型可以在普通人的电脑上运行。 6. Ollama的接口API可以通过Python代码调用大模型的接口,从而实现自定义的AI应用。 7. Ollama支持大模型微调,用户可以根据特定的应用场景对现有模型进行微调,以满足定制化的需求。 8. 多模态大模型的实现并不完全不同于语言大模型,OpenAI的GPT-4已经实现了大模型的多模态,包括图片大模型DALL-E 3,TTS语音模型和视频大模型。 9. Ollama提供了多平台支持,包括MacOS,Linux和Windows,用户可以根据自己的环境选择合适的平台进行安装和使用。 10. Ollama的模型量化技术通过调整模型参数的精度,降低了大模型对显存的需求,使得大模型可以在普通人的电脑上运行。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型项目落地实战》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)