20｜提示语工程（二）：LLM的护卫舰队有哪些？
Tyler
你好，我是 Tyler。
在上一节课中，我们学习了提示语工程的核心概念和设计理念，相信你现在已经对提示语工程有了全新的认识，不再认为它是一个“试错游戏”，而是一整套基于上下文学习的科学方法。
之前，我们虽然知道了如何对上下文学习，也就是 ICL 施加影响，但并没有涉及到具体技术的解读。这节课，我们将深入了解 ICL 的技术本质以及在大模型系统中的具体使用。学完今天的内容后，你将有能力为下节课中人工智能小镇的角色们增加各种“技能”。
大模型哺乳（吃奶粉）
首先，我们来看看模型热身（Warmup）技术，它是一种在训练阶段优化 ICL 能力的方法。举个例子，锻刀大赛中，一把刚刚锻造出的刀，如果不“开刃”，在后面一定会很难用。模型热身也是类似的作用，它可以帮助模型更好地适应目标场景，就像锻刀师给刀“开刃”一样，让刀锋更加锋利。
模型热身技术可以通过修改模型参数或添加额外的参数，来针对目标场景进行调整。模型热身和微调都是针对模型进行调整的方法，但它们的侧重点不同。模型热身是针对大语言模型上下文学习的整体能力进行调整，而微调是针对特定任务进行调整。
今天的重点，是推理阶段的优化方法，因为这才是提示语引擎的主要工作。模型热身的内容我们会在模型工程的部分详细介绍。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文介绍了大语言模型中提示语工程的核心概念和设计理念，以及在大模型系统中的具体应用。首先，介绍了模型热身技术，通过修改模型参数或添加额外的参数来针对目标场景进行调整，以优化大模型的能力。其次，讨论了示例选择和排序的方法，包括无监督方法KATE和监督学习方法EPR，以及基于熵的排序策略GlobalE&LocalE。接着，介绍了自动提示词工程技术APE，通过自动生成更适合大语言模型的提示词模板，提高模型的回答质量，将提示语工程的工作自动化，提高用户产品体验。最后，提到了如何通过提示语控制大语言模型的“思考方式”。整体而言，深入探讨了提示语工程在大模型系统中的重要性和具体应用方法，为读者提供了深入了解提示语工程技术的全面指南。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 大模型系统实战》，新⼈⾸单¥59
《AI 大模型系统实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
顾琪瑶如果按照性能来看, APE应该是最合适的. 只不过有些疑问, 课程中写到APE需要提供示例, 如果还需要人为提供示例那还算是APE吗? 因为个人理解, 不同的业务场景所使用的示例也是不同的, 还是需要人为的收集各种任务的示例才行作者回复: 你好，顾琪瑶。APE 也可以使用 0-shot 提示词，不提供示例。不过在工业级的应用中，为了保证服务的质量和稳定性，通常建议使用 few-shot。
2023-09-25归属地：上海1
周晓英我可能会选择APE，因为我目前的项目中大体上是这样实现的，类似：假设我们正在构建一个基于 GPT-3 的自然语言处理系统，旨在帮助用户自动写作。用户可以输入一个主题，系统将为他们生成一篇相关的文章。为了实现这个目标，我们可能需要设计一个有效的提示以引导模型生成高质量的内容。 在 APE 系统中： 自动生成提示: 系统可能会自动生成一系列与写作相关的提示，例如“写一篇关于 主题 主题的文章”、“请为 主题 主题编写一篇介绍性文章”等。 评估提示: 系统可以应用这些提示，然后评估 GPT-3 在不同提示下生成的文章的质量和相关性。 优化提示: 通过分析结果和应用优化算法，系统可以找到更有效的提示，例如添加额外的上下文或指导，如“写一篇关于 主题 主题的有趣文章，包括三个主要点”。 反馈循环: 当用户通过系统生成文章时，他们可以提供反馈，系统可以利用这些反馈来进一步优化提示，使其更符合用户的需求。2023-10-02归属地：美国1
收起评论