04|使用LLM提取和传递知识
徐昊
![](https://static001.geekbang.org/resource/image/ac/c3/ac2281bc5ee728620d3bd08a42e050c3.jpg)
你好,我是徐昊,今天我们来继续学习 AI 时代的软件工程。
通过前面的学习,我们逐步认识了知识工程的整体框架,并且尝试用知识工程的视角重新理解软件工程,那么软件工程效率提升的问题,自然就转化成为构造知识传递效率更高的知识过程。
那么大语言模型(Large Language Model,LLM)能否让知识过程更高效呢?这就是今天我们要讨论的问题,因为这是将大语言模型(Large Language Model,LLM)应用到知识过程的前提条件。
LLM 是革命性的迁移学习平台
LLM 是怎么帮助我们提取知识的呢?我们首先需要将 LLM 看作一种特殊的迁移学习(Transfer Learning)平台。
迁移学习(Transfer Learning)是机器学习领域的一个重要概念,意思是将从一个问题(源任务)中学到的知识应用到另一个相关的问题(目标任务)上。即使两个任务不完全相同,一个任务中学到的特征、模式和知识也可以在另一个任务中发挥作用,从而提高学习效率和性能。比如,一个可以识别猫狗的计算机视觉 AI,可以通过迁移学习训练成用来识别汽车的 AI。
迁移学习在实际应用中非常重要,特别是在数据稀缺的情况下。例如,在深度学习中,训练一个从头开始的模型通常需要大量的标记数据和计算资源。通过迁移学习,我们可以利用在大型数据集上预训练的模型,然后将这些模型调整(fine-tune)到特定的、数据较少的任务上。
公开
同步至部落
取消
完成
0/2000
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
![](https://static001.geekbang.org/resource/image/d0/e4/d0880927e2a522a038be2d04bf19dfe4.png)
大语言模型(Large Language Model,LLM)是一种革命性的迁移学习平台,具有强大的泛化能力,支持零样本或少样本学习,从而在迁移学习中发挥重要作用。文章强调了将知识的提取与组织放在首要位置,而非仅关注任务本身。通过将知识的部分与任务的部分分开,可以更好地利用LLM进行迁移学习训练,提高效率。文章提供了具体的示例和提示词,展示了如何聚焦于知识提取,以及如何补充信息以使LLM更接近处理的领域。这种方法能够帮助读者更好地利用LLM,提高知识传递效率。通过LLM的辅助,利用知识与任务的分离,我们有效地收集和传递了显式化的隐式知识。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《徐昊 · AI 时代的软件工程》,新⼈⾸单¥98
《徐昊 · AI 时代的软件工程》,新⼈⾸单¥98
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(15)
- 最新
- 精选
- 杨松老师,就是不知道如何去描述这个上下文,这方面是由于对所要解决的问题(任务)其中设计到的隐性知识不理解,导致无法准确描述的吧,解决的办法就是多次提出验证性的问题吗?
作者回复: 对 刻意练习
2024-03-15归属地:辽宁23 - 术子米德🤔☕️🤔☕️🤔 【R】from知识工程,at软件工程: 🔼 软件工程效率 = 构造知识传递过程 🔼 迁移学习(Transfer Learning)-> LLM with ctxInfo in prompt -> new domain specific LLM. 【.I.】LLM里的参数,来自人类的所有知识;跟LLM聊天的过程,就是在把这些参数,还原为相应知识的过程,或者用这些参数,组合出新知识的过程。 聊法,就是让凝结为参数的知识,再次释放出知识的方法,高级点就叫做迁移学习,土法叫做会聊天。 【R】atLLM时代:做出来🔽,做正确🔼。 【Q】知识的提取与组织,跟知识的创造之间的关系是什么?提取,是否意味着知识已经存在,只是没有显式表达出来,而创造,是否意味着知识要实践过程新创造出来,才有所谓的提取知识可言? — by 术子米德@2024年3月17日
作者回复: 想一下 提取 和 创造 分别是什么认知行为模式
2024-03-17归属地:浙江2 - Geek1591老师多更新一些啊,意犹未尽
编辑回复: 收到催更,等待期间可以琢磨一下现有内容,第一章相当重要,后面应用过程中还会反复运用这里的原则。
2024-03-15归属地:北京 - 需要练习的码农课后题答案没思路,感觉还是和识别隐性知识一样的方式,不断prompt。背景、要求、任务中描述的更加具体。
编辑回复: 可以结合当前更新的这几篇内容大胆推测一下~
2024-03-15归属地:北京 - aoe在提问的时候使用敬语,和 AI 做朋友,以后就有一个强大的朋友 分离关注点,有助于学习老师提问的技能2024-03-15归属地:浙江3
- 临风看到老师对留言的回复,强调了第一章内容的重要性,我又返回去看了第一节内容。答案就在题面上,“围绕不可言说知识构造知识过程”,LLM(大语言模型)就是AI时代的利器,那我们要怎么去构造知识过程呢?从第一节的内容可以知道,我们必须要通过社会化的活动,不断的训练、反思,刻意练习才能掌握。 突然想到一个例子,不知道大家玩不玩王者荣耀,我偶尔也会玩,里面有一个绝悟AI的训练场。它可以帮助你去练习各个英雄的连招,就比如露娜的月下无限连,如果是一两年前,你想学会这个连招,你只能去看视频教程,然后自己去摆放木偶进行练习。按的快了以后,你也不知道按对了没有,因为你缺乏反馈或者反馈过慢,除了少数特别热爱或者天赋极高的人,大多数人是无法学会这个连招的。但现在,界面会提示你当下需要的操作,你每进行一次操作,界面就会给你反馈,判断你当前是否操作正确。所以有了这个训练场,对于一个资质平平的普通人,可能要过去要花几十个小时才能学会,现在花几个小时就能学会了。不可言说的游戏连招操作,在这里传递效率就提升了10多倍。 同理,软件工程是否也是一样呢?我觉得答案也是肯定的,我们同样可以通过LLM制造一个“训练场”。比如团队中想要统一代码风格,它的好处就是能降低认知负载,每个人读自己的代码都是相对简单的,但代码风格这种东西是没办法说清楚的,但你一看到一段代码,你就能够看出来和谁的比较像,那么我给LLM喂上大量相同风格的代码,之后我再给LLM一段代码,它就能自动转换为我希望的风格,新的同事就能快速掌握团队的代码风格。2024-03-15归属地:广东2
- 一只豆关于如何利用 LLM 提炼和应用“不可言说知识”,也许谜底就在谜面上。 翻阅一下“不可言说知识”在课程中提到的蛛丝马迹:1 特定场景下的 know-how 2 从应用题场景里提取隐含的数学关系,然后选择正确的公式或算法求解 3 《庄子》中轮扁询问学徒任务场景下(拿到材料和制式)的制作思路,并根据师傅的经验提供反馈 4 架构设计的不可言说知识在于 如何应对变化。 这些蛛丝马迹共同指向两个关键点: 强场景相关 ,场景解读和对策的映射具象化了不可言说知识。所以,也许“不可言说知识”的验证性问题就是:让 LLM 自编自演+内心独白。 自编自演是描述场景和解决思路;内心独白 是外化场景和解决思路之间的映射关系。 徐昊老师啊,打字打出这两段话真是费了老鼻子劲儿了~ 您课程太通透了,我无以为报,只好豁出去参与一下的啦2024-03-15归属地:广东1
- 奇小易对于不可言说的知识,猜测是跟隐式知识提取过程类似,把自己对某个问题的解决方案来作为上下文信息给到 LLM 使其完成迁移学习,从而跟它开始结对解决问题。2024-03-21归属地:湖北
- Halo获取不可言说知识的关键是分享思维的过程,而不是消费最终的结果。 因此,llm要提炼不可言说知识,就是要让llm通过上下文输出思维的步骤step,我们根据step去fine tune上下文,不断反馈。2024-03-20归属地:广东
- dawei作为可以通过零/少样本学习来快速获取知识的高智商llm,对一个系统化大任务无法准确地完成的原因是对特定领域的知识并不熟悉。所以使用llm首先应该考虑如何让llm聚焦于特定领域的知识学习而不是最终的任务完成。在老鸟不断细化上下文描述的过程中完成知识的提取与传递过程!2024-03-19归属地:浙江
收起评论