04｜使用LLM提取和传递知识
2024-03-15 徐昊
《徐昊 · AI 时代的软件工程》
课程介绍
讲述：徐昊
时长:大小8.68M
你好，我是徐昊，今天我们来继续学习 AI 时代的软件工程。
通过前面的学习，我们逐步认识了知识工程的整体框架，并且尝试用知识工程的视角重新理解软件工程，那么软件工程效率提升的问题，自然就转化成为构造知识传递效率更高的知识过程。
那么大语言模型（Large Language Model，LLM）能否让知识过程更高效呢？这就是今天我们要讨论的问题，因为这是将大语言模型（Large Language Model，LLM）应用到知识过程的前提条件。
LLM 是革命性的迁移学习平台
LLM 是怎么帮助我们提取知识的呢？我们首先需要将 LLM 看作一种特殊的迁移学习（Transfer Learning）平台。
迁移学习（Transfer Learning）是机器学习领域的一个重要概念，意思是将从一个问题（源任务）中学到的知识应用到另一个相关的问题（目标任务）上。即使两个任务不完全相同，一个任务中学到的特征、模式和知识也可以在另一个任务中发挥作用，从而提高学习效率和性能。比...
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
精选留言
杨松2024-03-15 来自辽宁老师，就是不知道如何去描述这个上下文，这方面是由于对所要解决的问题(任务)其中设计到的隐性知识不理解，导致无法准确描述的吧，解决的办法就是多次提出验证性的问题吗？作者回复: 对 刻意练习
共 2 条评论3
术子米德2024-03-17 来自浙江🤔☕️🤔☕️🤔 【R】from知识工程，at软件工程： 🔼 软件工程效率 = 构造知识传递过程 🔼 迁移学习（Transfer Learning）-> LLM with ctxInfo in prompt -> new domain specific LLM. 【.I.】LLM里的参数，来自人类的所有知识；跟LLM聊天的过程，就是在把这些参数，还原为相应知识的过程，或者用这些参数，组合出新知识的过程。 聊法，就是让凝结为参数的知识，再次释放出知识的方法，高级点就叫做迁移学习，土法叫做会聊天。 【R】atLLM时代：做出来🔽，做正确🔼。 【Q】知识的提取与组织，跟知识的创造之间的关系是什么？提取，是否意味着知识已经存在，只是没有显式表达出来，而创造，是否意味着知识要实践过程新创造出来，才有所谓的提取知识可言？ — by 术子米德@2024年3月17日展开作者回复: 想一下 提取 和 创造 分别是什么认知行为模式
共 2 条评论
Geek15912024-03-15 来自北京老师多更新一些啊，意犹未尽编辑回复: 收到催更，等待期间可以琢磨一下现有内容，第一章相当重要，后面应用过程中还会反复运用这里的原则。
需要练习的码农2024-03-15 来自北京课后题答案没思路，感觉还是和识别隐性知识一样的方式，不断prompt。背景、要求、任务中描述的更加具体。编辑回复: 可以结合当前更新的这几篇内容大胆推测一下～
aoe2024-03-15 来自浙江在提问的时候使用敬语，和 AI 做朋友，以后就有一个强大的朋友 分离关注点，有助于学习老师提问的技能3
临风
2024-03-15 来自广东看到老师对留言的回复，强调了第一章内容的重要性，我又返回去看了第一节内容。答案就在题面上，“围绕不可言说知识构造知识过程”，LLM（大语言模型）就是AI时代的利器，那我们要怎么去构造知识过程呢？从第一节的内容可以知道，我们必须要通过社会化的活动，不断的训练、反思，刻意练习才能掌握。 突然想到一个例子，不知道大家玩不玩王者荣耀，我偶尔也会玩，里面有一个绝悟AI的训练场。它可以帮助你去练习各个英雄的连招，就比如露娜的月下无限连，如果是一两年前，你想学会这个连招，你只能去看视频教程，然后自己去摆放木偶进行练习。按的快了以后，你也不知道按对了没有，因为你缺乏反馈或者反馈过慢，除了少数特别热爱或者天赋极高的人，大多数人是无法学会这个连招的。但现在，界面会提示你当下需要的操作，你每进行一次操作，界面就会给你反馈，判断你当前是否操作正确。所以有了这个训练场，对于一个资质平平的普通人，可能要过去要花几十个小时才能学会，现在花几个小时就能学会了。不可言说的游戏连招操作，在这里传递效率就提升了10多倍。 同理，软件工程是否也是一样呢？我觉得答案也是肯定的，我们同样可以通过LLM制造一个“训练场”。比如团队中想要统一代码风格，它的好处就是能降低认知负载，每个人读自己的代码都是相对简单的，但代码风格这种东西是没办法说清楚的，但你一看到一段代码，你就能够看出来和谁的比较像，那么我给LLM喂上大量相同风格的代码，之后我再给LLM一段代码，它就能自动转换为我希望的风格，新的同事就能快速掌握团队的代码风格。展开2
一只豆2024-03-15 来自广东关于如何利用 LLM 提炼和应用“不可言说知识”，也许谜底就在谜面上。 翻阅一下“不可言说知识”在课程中提到的蛛丝马迹：1 特定场景下的 know-how 2 从应用题场景里提取隐含的数学关系，然后选择正确的公式或算法求解 3 《庄子》中轮扁询问学徒任务场景下（拿到材料和制式）的制作思路，并根据师傅的经验提供反馈 4 架构设计的不可言说知识在于 如何应对变化。 这些蛛丝马迹共同指向两个关键点： 强场景相关 ，场景解读和对策的映射具象化了不可言说知识。所以，也许“不可言说知识”的验证性问题就是：让 LLM 自编自演+内心独白。 自编自演是描述场景和解决思路；内心独白 是外化场景和解决思路之间的映射关系。 徐昊老师啊，打字打出这两段话真是费了老鼻子劲儿了～ 您课程太通透了，我无以为报，只好豁出去参与一下的啦展开1
奇小易2024-03-21 来自湖北对于不可言说的知识，猜测是跟隐式知识提取过程类似，把自己对某个问题的解决方案来作为上下文信息给到 LLM 使其完成迁移学习，从而跟它开始结对解决问题。
Halo
2024-03-20 来自广东获取不可言说知识的关键是分享思维的过程，而不是消费最终的结果。 因此，llm要提炼不可言说知识，就是要让llm通过上下文输出思维的步骤step，我们根据step去fine tune上下文，不断反馈。
dawei2024-03-19 来自浙江作为可以通过零/少样本学习来快速获取知识的高智商llm，对一个系统化大任务无法准确地完成的原因是对特定领域的知识并不熟悉。所以使用llm首先应该考虑如何让llm聚焦于特定领域的知识学习而不是最终的任务完成。在老鸟不断细化上下文描述的过程中完成知识的提取与传递过程！