徐昊 · AI 时代的软件工程
徐昊
Thoughtworks 全球技术策略顾问
2034 人已学习
新⼈⾸单¥98
登录后,你可以任选4讲全文学习
课程目录
已更新 8 讲/共 32 讲
业务知识管理 (1讲)
徐昊 · AI 时代的软件工程
15
15
1.0x
00:00/00:00
登录|注册

05|使用LLM应用和提取不可言说知识

你好,我是徐昊,今天我们来继续学习 AI 时代的软件工程。
上节课,我们通过将 LLM 看作一个迁移学习平台,理解了在提示词中上下文和任务的不同作用,并利用这个特性,构造了基于 LLM 的知识提取与应用的流程:通过聚焦在上下文,使用不同的问题反馈以提取知识,再将提取的知识与具体的任务结合,完成知识的应用过程。
这样的流程对于显式知识,或是隐式知识都有极高的提取和传递效率。但是对于知识过程中的核心——不可言说知识要怎么处理呢?这就是我们今天要讨论的问题。
在前面的课程中,我们已经知道,不可言说知识的应用会产生清晰(Clear)和庞杂(Complicated)认知模式,而不可言说知识的学习会产生复杂(Complex)认知模式。不同的认知行为模式具有不同的认知行为,因而与 LLM 交互的模式也就不尽相同。不同的交互模式,是我们处理不可言说知识应用和学习的关键。

与 LLM 交互的模式

由于 LLM 的回答具有不确定性,我们与 LLM 的默认交互模式是复杂认知模式,它的表现是:
探测(Probe):我们向 LLM 提出问题或者任务,LLM 帮助我们执行这个任务,并产生了初始结果;
感知(Sense):我们依照 LLM 返回的结果,思考哪些地方是我们不满意的,或者需要进一步了解的。然后我们提出新的问题,或者是重新调整初始问题;
响应(Respond):通过不同的问题调整,最终拿到满意的结果。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文深入探讨了利用语言模型(LLM)进行知识提取与应用的交互方式。文章介绍了在复杂模式和庞杂模式下与LLM的交互方式,以及如何利用提示词模板和思维链来指导LLM的工作。此外,文章还讨论了处理LLM的不确定性以及在不同认知行为模式下的交互技巧。作者强调了通过反馈学习提取不可言说知识的重要性,并介绍了使用检索增强生成(RAG)架构和互动学习的方式。总的来说,本文为读者提供了丰富的应用案例和交互技巧,使其能够更好地理解和应用LLM进行知识提取与应用。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《徐昊 · AI 时代的软件工程》
新⼈⾸单¥98
立即购买
登录 后留言

全部留言(8)

  • 最新
  • 精选
  • 临风
    置顶
    分清楚行为模式真的很重要,过去在使用LLM时,完全是凭直觉的,结果就是有的时候符合预期,有的时候就完全没用。当然我也知道,如果回答的不够好,就需要补充背景知识。这又产生了新的问题,就是补充背景知识也是凭直觉的,所以有时后写了半天提示词,最后发现还不如自己写算了。而在行为模式的思考框架下,你可以清楚的根据自己当下的问题和自己所掌握的知识来决定采用什么行为模式,再根据不同的行为模式才有不同的提示词方法。 好,那回到开发场景。什么时候应该采用清晰模式,比如为一段代码补充注释、编写UT、重构、写一个方法/函数等,基本上描写清楚prompt并给LLM源代码就足够了,这也是我使用LLM最常用的方式。然后是庞杂模式和复杂模式,这也是之前用不好LLM的场景。我们一定要先弄清楚自己掌握的知识是否能覆盖问题(不可言说的知识是否充分学习),如果不能,那就是复杂模式,你只能先进行探测。借助LLM已经掌握的海量知识,给自己思考和启发,不断迭代。当充分掌握知识后,再进入庞杂模式,拆分TODO LIST,每个TODO项其实就是一个清晰模式的行为。 突然想到一句话,“我们不生产水,我们只是大自然的搬运工”,但你仔细想想就知道,他真的只是做了搬运吗?他做的是对搬运水的知识工程管理,否则怎么能做到人人都可以用2元的价格就获取到一瓶水呢?背后凝结的供应链知识、营销网络、物流管理才是他的核心竞争力。LLM是很厉害,拥有一个人一生都无法学完的知识,但知识本身是没有用的,知识的应用才能产生价值。在LLM时代的我们同样可以说,“我们不生产知识,我们只是知识的搬运工”,或许这也是这个时代给予我们的机会。

    作者回复: good

    2024-03-18归属地:广东
    2
    10
  • 术子米德
    🤔☕️🤔☕️🤔 【R】 默认的LLM交互模式 = 复杂认知模式(PSR=Probe/Sense/Respond) 区分:LLM的交互模式 vs 我们的认知行为 清晰时,指导性提示词(Instruction Prompting); 庞杂时,知识生成(Generated Knowledge),用思维链生成任务列表,即不可言说知识的提取,达到思路对齐; 复杂时,获取思路是重点; 【.I.】LLM在我面前,跟白纸在我面前,都会给我带来大脑空白感,不知道敲入点啥,不知道写上点啥。 差别在于,前者,稍微敲入点东西后,我会被输出的内容带着走,琢磨起我想要啥,对照着LLM给我点啥;后者,顺意写出几个字、几个词、几句话后,我会有种流出来的感觉,我不要去审视流出的是啥,降低流出的任何阻力,让它们自然流一会儿。 【.I.】清晰时,照我说的干;庞杂时,给我说清楚,到底想咋干;复杂时,先跟我说说,有哪些思路,让我琢磨一下; 【Q】到底是LLM提取我的不可言说知识,还是我提取LLM自己的不可言说知识,还是我们互相在提取? 怎么判断已成功提取出不可言说知识? — by 术子米德@2024年3月18日

    作者回复: 自己提取

    2024-03-18归属地:浙江
  • dawei
    清晰的问题,清晰的期望答案 => 正确的文档代码测试等 清晰的问题,模糊的解决方案 => 达成一致的TODO 模糊的问题,未知的思路 => 获取启发来让问题定义的更准确 所谓不可言知识的提取可以认为是将requirements不断具象化为TODO的整个思维过程
    2024-03-19归属地:浙江
    1
  • 术子米德
    🤔☕️🤔☕️🤔 【Q】对于提取的知识,怎么样的传递是最有效率的? 【A】文生图,时序图和状态图,前者时间上的可视化,后者空间上的可视化。 — by 术子米德@2024年3月18日
    2024-03-18归属地:浙江
    1
  • hakunamatata
    https://www.youtube.com/watch?v=ug8XX2MpzEw&t=11s Dave Thomas在演讲里面讲到(37:50)过一点,通过潜意识传递的信息效率最高。因为这些“信息”的“传递”几乎是“自动”完成的(另外一种“认知模式”)。 比如不要读下面的一段话 “I TOLD YOU NOT TO READ IT!”
    2024-03-21归属地:四川
  • aoe
    1. 介绍背景:尽量缩小背景范围,突出重点 2. 描述问题:尽量拆分成多个小问题,一个问题只有一个关注点 例如: 介绍背景:使用 DDD 设计一个图片管理系统的领域模型 问题描述: 1. 有哪些领域对象? 2. 每个领域对象都有哪些关键属性? 3. 领域对象之间的关系是什么? 4. 对接不同云服务商的图片存储服务时,如何通过领域模型实现开闭原则?
    2024-03-20归属地:浙江
  • 赫伯伯
    最近看过一些 TW 组织的 AI 赋能软件研发的专场分享,涉及业务分析,编码,产品设计,交互设计和测试。每个嘉宾都很优秀,不过分享这种形式,内容上总是支离破碎的,希望徐老师的课程能给我带来体系化的思考和认识
    2024-03-19归属地:北京
  • webmin
    根据在工作遇到的问题,有意识的根据老师教的问题分类方法,把问题分类后,与GPT进行问答练习,多练才能找到与GPT配合的感觉,和形成自己的模板.
    2024-03-18归属地:上海
收起评论
显示
设置
留言
8
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部