高并发系统实战课
徐长龙
前微博架构师、极客时间架构师
11663 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 30 讲
结束语&结课测试 (2讲)
高并发系统实战课
15
15
1.0x
00:00/00:00
登录|注册

AIGC应用|魔改GPT,快速打造一个私人助手

本地向量近似度数据库
对话历史汇总
FIFO先进先出方式
文字总结、汇总、改写
提问ChatGPT并匹配私有库知识
检索私有库内容
导入私有知识文本到向量库
初始化本地知识向量库
大文本处理
分段汇总方式
Embedding API和向量库的配合工作
Faiss向量库
OpenAI的Embedding API
本地服务
本地知识库
搜索引擎
LangChain的支持
GPT 3.5的token限制
可选的模型列表
对话接口的参数
ChatGPT的基础调用方法
Token字数限制不方便
收集资料截止到2021年
节约时间和精力
通过多次对话优化输出内容
思考题
智能小助手源码
超过token上限如何处理
Embedding与向量库
最新信息如何注入
模型的长度限制
基础知识及对话接口
ChatGPT的局限性
ChatGPT的能力
ChatGPT的讨论
魔改GPT,快速打造一个私人助手

该思维导图由 AI 生成,仅供参考

你好,我是徐长龙。
相信最近你一定听到了不少 ChatGPT 的讨论,甚至自己也体验过了。
不知道你感觉如何?对于 ChatGPT,我印象最深刻的就是它仅仅通过多次对话,就可以按我们期望不断优化输出内容的能力。原本令人头大的文本整理工作,现在我们只需要给 ChatGPT 下达类似编程指令一样的 Promopt 就可以轻松搞定,这帮助我们节约了不少时间和精力。
不过,现在的 ChatGPT 还是有局限性的,它收集的资料截止到 2021 年,并没有最新的内容。另外,token 字数上的限制也不太方便,在梳理大量文本或者做总结的场景里使用起来很麻烦。
这节课,我就带你一起基于 GPT 做点“魔改”,做一个更方便我们使用的私人小助手,这是一个嵌入了 Faiss 私有数据库的小助手,它能帮你实现知识库、资料整理(突破默认 token 字数限制)、内容总结和文章润色等功能。
想实现这个小助手,我们需要用到 Python 3.10、LangChain 0.0.145 还有 OpenAI 0.27.0(由于这几个开发依赖包比较新还在持续迭代,未来可能会因为依赖包升级导致无法使用情况,届时我会再同步更新)。

基础知识及对话接口

想要魔改,先得熟悉一下 GPT 的基础调用方法,所以我们先热热身,看看如何实现基础的对话。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文介绍了如何利用GPT进行“魔改”,以快速打造一个私人助手。首先介绍了ChatGPT的基础对话功能和调用方法,以及模型长度限制和解决方案。然后讨论了如何注入最新信息到ChatGPT,包括使用搜索引擎API、本地知识库和本地服务等方法。此外,还提到了使用Fine-Tuning来扩展模型的行为和能力。文章还介绍了LangChain开源库的支持,以及三种常用方式供我们选择,包括FIFO、对话历史汇总和本地向量近似度数据库。另外,还讨论了如何处理超过token上限的情况,以及如何实现文字润色、改写、知识点总结、关键字提取以及内容归类等多种功能。最后,提供了相关代码实现的步骤和示例。整体来看,本文涵盖了GPT的基础知识、对话接口、模型长度限制、最新信息注入、LangChain的支持以及超过token上限的处理方法,为读者提供了打造私人助手的技术指导和思路。文章内容丰富,涉及技术细节和实际操作,适合对人工智能和自然语言处理感兴趣的读者阅读。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《高并发系统实战课》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(5)

  • 最新
  • 精选
  • 希波莱
    老师如果想做推荐系统和电商,但引入整套llm 的rag工作流,是不是可以淘汰掉传统的mysql,只用elasticsearch + mongdb + redis就足够了

    作者回复: 你好,LLM的服务QPS目前有些低,如果直接对外服务QPS上万的广告投放有些亏,可以考虑让他生成策略,这样会好一些。最后存储建议redis。微博就是你说的结构,后来全换成了redis。

    2024-01-13归属地:广东
  • AI悦创
    老师向量数据库有没有什么好的教程?

    作者回复: 你好,最近我阅读了一个文章不错,推荐给你 https://guangzhengli.com/blog/zh/vector-database/

    2023-08-26归属地:福建
  • AI悦创
    文章的示例代码,向量数据库能否提供一下测试?

    作者回复: 你好,文章底部有个colab测试链接,可以在上跑一下就能获取到❛‿˂̵✧

    2023-08-13归属地:福建
  • AI悦创
    1. 就是结合 CHatGPT 和公司或个人数据库或向量数据库其他的,实现智能客服之类的; 2. 老师的文章中还提及了:多种实现方法和技术,我想系统跟着老师的课程学学,开发开放; 3. 公司目前需要这方面的研发客服啥的,市面上没有这类结合私有数据库开发的[流泪]

    作者回复: 你好,悦创,文中内的代码就是可以实现私有数据库开发案例,你可以把数据库换成Qdrant

    2023-08-02归属地:福建
  • AI悦创
    这个有后续吗?快速打造一个私人助手

    作者回复: 你好,上面这些功能已经实现了基础私有库提供人工智能问答和总结,后续你对什么功能感兴趣?

    2023-07-29归属地:福建
    5
收起评论
显示
设置
留言
5
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部