19|提示语工程(一):为什么说提示语引擎是“智能体本体”?
Tyler
你好,我是 Tyler。
在上节课中我们学习了 AIGC 系统策略建模的方法。接下来我们会深入学习 AIGC 系统各模块的知识。我们先从提示语工程开始学起。
之前我也说过,提示引擎在一定程度上就是“智能体的本体”,所以它的重要性不言而喻。拿建筑行业做比方,提示引擎(prompt engine)是一个功能完备、拎包入住的成品房,而提示语工程(prompt engineering)就是搭建这个房子的设计图纸和施工手册。
为了让你全面系统地学习这部分知识,我安排了四节课做讲解。今天我们的学习重点是熟悉提示语工程的主要概念和设计方法。
提示语工程概念
上节课你已经学习了提示语引擎是专门服务于生成式 AI 模型的系统模块,它需要具备各类知识表达和知识检索的能力,识别用户意图、选择检索结果,并且进行有效的信息压缩。而这些任务都需要精心设计的提示语工程来完成。
而在学习提示语工程设计之前,我们需要搞清楚提示语工程中的主要概念。
上下文学习(In-Context Learning,ICL)
首先,让我们来谈谈上下文学习的概念,这是提示语工程诞生的基础。在 GPT-3 的那节课里,我们学习到了 OpenAI 提出的一个更新的理念,即“上下文学习(In-Context Learning)”。这个能力允许我们在提示语中提供示例样本,以帮助模型理解要解决的任务的特点。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
提示语工程在AIGC系统中的重要性和作用是本文的重点。文章介绍了提示语引擎在生成式AI模型中的关键作用,包括上下文学习和指令微调。提示语工程的设计中涉及了优选、排序、可信AI和推理步骤等关键概念,其核心目标是为模型提供有效的示例样本,并通过提示语策略帮助模型解决复杂问题。本文强调了提示语工程设计的重要性,以及如何通过合适的提示样本和推理步骤来优化其有效性。读者通过本文可以深入了解提示语工程的核心理念,以及如何利用已学习的知识来优选示例样本和排序方法,从而提升大模型的回复质量。下一节课将继续深入学习提示引擎的相关能力。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型系统实战》,新⼈⾸单¥59
《AI 大模型系统实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(8)
- 最新
- 精选
- 一只豆提示语工程的本质,还是(领域)知识注入。好的提示词工程如果没有富含增量信息的知识作为外部记忆注入,如果没有提供与增量信息相匹配的推理逻辑,那就是没有注入知识。那就是一个死循环,或者说瞎尝试。面对 AI,拼的还是人类自身的知识/经验的积累+对 LLM 的 ICL 特点的深刻理解。 老师攒了几个星期的内功,循循善诱到这个板块,终于排山倒海的开始降龙十八掌了。。。。。帅且飒!!
作者回复: 你好,一只豆!感谢你的认可,前面几章的内容是本章内容的“根基”,在前面的课程中,同学们无形间已将 AI 算法和系统的重要理念内化于心,所以这里会觉得非常舒畅,大快朵颐。
2023-09-22归属地:广东3 - 王平请问这里提到的为模型提供外部知识,和 RAG 是一回事吗?
作者回复: RAG 是主要的外部知识注入方式之一。
2023-12-12归属地:浙江1 - Eric您好,请问基于零样本和基于少样本的提示词方式差别大吗? 目前接触到的公司自研的大语言模型以及百度千帆大模型,都是不支持使用少样本的方式来传递prompt,只支持直接把prompt通过问题给到模型。
作者回复: 你好,Eric!据我所知很多厂商已经在后端隐式注入了他们所拥有的相关示例,只不过这个过程对你来说是透明的。确实现在各个公司的产品暂时还没有显式地为你提供注入示例样本的方法(比如通过图形界面的交互方式,让你输入用例,不过别急很快就会有),你可以在你的提示词中直添加示例,激活 LLMs 的相关能力。
2023-11-10归属地:四川1 - l_j_dota_1111老师你好,这个优选的目的我还是没太理解。是不是说当用户输入prompt,后台拿到钱prompt 后,并没有直接传给大模型,而是根据prompt进行相关内容的筛选,并形成优秀示例,然后和用户输入的内容一起组织成新的prompt发送给大模型?
作者回复: 同学你好,你的理解完全正确。这个行为的本质是根据用户指令获取外部知识,并通过 prompt 向 LLM 注入知识。这正是我们在上一章学到的 few-shot in-context learning 的应用。
2024-02-01归属地:天津 - 顾琪瑶提示语的质量该如何衡量呢? 提示语的召回(检索)简单理解是不是通过用户的输入去向量数据库检索相似度最高的几个提示语呢?
作者回复: 你好,顾琪瑶!首先回答第一个问题,在后面几节课我们分析了不同提示语优化算法的原理和评价方法;第二个问题的答案是否定的,你可以在提示语工程系列的最后一课找到答案。
2023-09-22归属地:上海 - 周晓英提示语工程(Prompt Engineering)指的是为了使模型生成特定的输出而设计和优化输入提示的过程。在一些情况下,它可能看起来像是一个试错的游戏,因为工程师可能需要通过多次尝试来找到能够产生所需输出的正确提示。然而,提示语工程实际上是一种更复杂、更系统的过程,具有一定的技术和理论基础。以下是一些考虑点: 基于理论和经验: 提示语工程通常不是随机的。它通常基于对模型的理解,以及对特定任务和领域的知识。通过理解模型的工作方式和可能的局限性,工程师可以更有效地设计提示。 系统化和方法论: 提示语工程可以是一个系统化的过程,其中包括了测试、评估、和迭代。它可能包括了设计实验,收集和分析数据,以及使用统计和机器学习技术来优化提示。 数据驱动: 在很多情况下,提示语工程可以是数据驱动的。例如,可以通过分析模型在不同提示下的表现,或者收集用户或专家的反馈,来持续优化提示。 创造性: 提示语工程也需要一定的创造性和洞察力。通过理解任务的需求和模型的行为,工程师可以设计出能够引导模型生成有用输出的创新提示。 可扩展性和通用性: 高效的提示语工程应考虑到可扩展性和通用性,以使得找到的解决方案不仅仅是针对单一问题的,而是能够广泛应用于类似的任务和问题。 与模型训练和微调结合: 提示语工程通常不是孤立的。它可以与模型训练和微调相结合,以实现最优的性能。2023-10-02归属地:美国13
- 姚俊对于没有语法,只有语义的自然语言,提示词要工程化,个人认为还有很长的路要探索2024-01-26归属地:浙江
- aLong我认为不是自说自话的游戏。这个提示语工程也是需要有一套规则吧。按照提示语给出的目的测试是否反馈信息符合要求。并且需要通过多测试和调整等工作去完善。并且我感觉在使用GPT的web页面时候他肯定会对我的提示语加以调整和优化工作。不然很难给出我认为不错的内容。 我现在感觉虽然提示语工程是有必要的,但对于不同的大语言模型有个问题那就是不同大模型都需要去针对调整有点压力和棘手。2024-01-25归属地:北京
收起评论