AI 大模型项目落地实战
蓝金伟
AI 创业者,前新浪网技术专家
2568 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已更新 19 讲/共 26 讲
AI 大模型项目落地实战
15
15
1.0x
00:00/00:00
登录|注册

18|实战升级:如何提升电商客服模型理解JSON等数据协议的能力

你好,我是金伟。
回想一下前几节课和电商客服项目里的具体例子,为什么我们要开发电商客服专用模型呢?其实,总体的目的还是提升模型处理特定复杂问题的能力,具体事实上,我们采用的是微调训练 JSON 原子能力的方法。
之所以要训练 JSON 原子能力,是因为大模型需要和智能体配合才能达到较高的可靠性,而 JSON 是最适合跟现有编程体系对接的数据格式。
本节课将进一步探讨整个项目中 JSON 等数据协议的提升方法,包括基础数据格式化、专有模型构建,以及后续的各类优化。它们的灵魂还是数据工程,这些补充经验对你将来做其他项目也同样适用。

基础数据格式化

经过之前的课程,你可能会觉得只有当大模型遇到处理不了的问题时候,才会做数据工程,实际上则不然,我们回顾一下 Dify 的 Agent 智能体流程图。
需要注意,不管客服问题有多少分类,Agent 智能体在意图识别阶段,最重要的能力就是把用户的问题转化为 JSON 的数据格式,用作参数传递给后续的工作流。
顾客:我的订单12345到哪了?
智能客服:
比如这个订单物流查询的例子,Agent 智能体需要抽取出如下格式的信息。
{
"order_id": "12345"
}
我们在真实项目中的经验是,可以对每一个基础的问题分类都做数据抽取格式的训练。这样能极大提高大模型的意图识别能力。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 数据格式化对大模型的意图识别能力有着重要的作用,通过对每一个基础的问题分类都做数据抽取格式的训练,可以极大提高大模型的意图识别能力。 2. 专有模型构建在电商客服的专用模型训练过程中起着重要作用,是项目中的关键环节之一。 3. 大模型在预训练阶段已经具备了大量的NLP能力,只要给大模型提供少量的数据例子,大模型就能组织原有的基础NLP能力形成全新的NLP能力。 4. 数据格式设计的本质是准确利用大模型的基础NLP能力,提升复杂对话场景下的数据提取能力,需要训练大模型的原子能力。 5. 电商领域数据的微调是为了让大模型具备电商领域基础能力,通过电商客服模型专用语料的训练,可以强化模型对电商数据的理解力。 6. 在智能客服复杂对话场景下设计数据格式,需要训练大模型的原子能力,通过数据格式设计引导大模型去思考、处理数据。 7. 数据协议解析是微调过程中的具体数据格式JSON、Markdown格式的解析和生成,需要使用Python的内置库和第三方库来完成相应的任务。 8. 持续优化数据是为了不断提高模型的性能,在电商客服专有模型里,这意味着通过更新数据集或加入数据集持续优化模型。 9. 意图识别的微调需要根据具体分类数据的配置问题分类,只有当问题分类非常大时,才需要按照数据格式专门做意图识别能力的微调.

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型项目落地实战》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)