开篇词｜如何寻找大模型在企业业务中的价值？

王吕

本门课程为精品小课，不标配音频
你好，我是王吕，极客时间 AI 架构师。
早在 2023 年 3 月份，ChatGPT 一经问世，极客时间的产研团队就开始关注 AI，并且在同年 5 月推出了第一款 AI 产品——极客时间小助手。之后我们继续深入探索大语言模型（LLM）和知识增强检索（RAG）在企业中的落地应用，陆续把 AI 应用到业务的各个方面，大大提高了公司的运营效率，并积累了一些宝贵的经验。
不过经历了一年多的迭代，LLM 技术已今非昔比，我们之前很多自己摸索的问题，如今业界都有了成熟的方法论。因此，在这门课程中，我将从极客时间的实际案例出发，不止与你分享我们之前的经验，还会基于当前最新的实践方法论对业务进行重新设计和规划，让这门课更加实用。同时，也会对极客时间的 AI 产品进行一轮迭代，一同探索大模型在企业业务中的价值。
那么就从今天开始, 准备好一起成长吧！
极客时间落地应用在极客时间，我们最早发布的对外应用是“极客时间小助手”，这是一个能解答用户问题的对话应用。经历多次迭代，现在支持使用不同的国内大模型进行对话，同时会根据问题，向用户推荐符合用户喜好的课程。
其次，你在文章详情页面看到的思维导图功能也是 AI 完成制作的，还有文章结尾处的 AI 总结，这两个功能都是利用了 AI 对文章进行处理，进而提炼文章重要信息。
在极客时间内部，我们也用 AI 做了很多提效相关的功能。其中使用频率最高的是视频处理，包含了提取视频字幕、总结视频要点、在视频上标记打点等功能，这些功能大大提高了运营效率，原来需要三天才能完成的视频处理任务，现在只需要一两个小时，降低公司运营成本的同时，也让运营同学可以把精力放到更加重要的事情上。
既然 AI 在企业内部可以有这么多的应用，那么我们该如何去落地呢？
识别企业中LLM 和 RAG潜在应用场景的方法论为了帮助你在自己的企业中发现 LLM 和 RAG 的应用潜力，我将分享我们在极客时间使用的一套场景识别方法论。
1. 分析业务流程，找出业务中依赖大量知识或信息处理的环节企业的业务流程往往包含多个复杂的环节，涉及决策支持、数据处理、客户服务等领域。在分析时，重点关注以下几类场景：
复杂决策环节：在需要多维度信息综合分析与判断的业务流程中，RAG 可以为决策者提供实时的信息支持。例如，极客时间在课程策划以及选型的过程中，需要整合大量市场趋势、用户反馈和技术知识，我们使用 LLM 从各种来源的信息中提炼出关键点，累计权重之后，就知道哪些重要、哪些不重要。这里 LLM 的作用是压缩和整理非格式化信息。
重复性内容生成：企业中大量重复且标准化的内容生成任务，比如极客时间的部分课程说明介绍、客户回复模板、内部报告等，适合用 RAG 提升效率。这类问题往往可以用程序去归纳流程，在这个流程之下，用 LLM 和 RAG 去填充每个环节，最终得到想要的内容。
用户交互场景：传统的用户交互包含点击、选择等等操作，现在相当于增加了一种自然语言交互。想象一下，自然语言交互可以在产品的哪些场景发挥作用？哪些地方用户繁琐的操作可以用自然语言替代？
2. 识别问题，找出当前流程中的痛点，并识别 LLM 和 RAG 在解决这些痛点中的作用在分析业务流程后，我们要进一步深入了解各流程环节中面临的主要挑战和痛点。
信息碎片化和难以系统化输出：例如，在企业内部，各个部门之间都有自己的文档和知识库，甚至有的只存在于员工的大脑里，非常分散，每次需要的时候，都要去拉人沟通，难以形成一个体系化的输出。以极客时间为例，我们的编辑团队在面对内容扩展和更新时，常常需要从不同来源获取信息，并手动整合成系统化的知识。这种情况下，使用 LLM 和 RAG 能够通过自动化整合固定信息源的内容，定期获取信息，统一整理（有可能重新生成）到公司的知识库中，将分散的知识转化为结构化输出，提高效率。
人工处理效率低下：在需要人工参与的繁琐任务中，重复操作和低效沟通是常见问题。这一点跟上边业务流程那一部分有点像，不过区别在于，上个场景指的是对外服务的重复性工作，这个节点想要表达的是面对企业内部效率的问题。通过 LLM 自动化这些任务，可以让团队成员专注于更有创造力的工作。我们在极客时间将视频提取字幕、总结视频要点等等功能都做成了流程化的工具，对于运营人员来说，上传完视频就不需要管了，一切都在后台处理完成。这个工作流我会在后边具体案例里详细地分享出来，让你也能直接使用。
3. 小步快跑，快速迭代，找到需求之后，快速做出应用，验证效果，验证成功再迭代大模型技术的不确定性太高了，而且变化非常快，因此要采用“小步快跑”的策略。
构建最小可行产品（MVP）：在正式大规模应用之前，根据之前的分析找到对应的场景，快速开发一个原型系统，哪怕是一个 Python 脚本也可以，先进行小范围试点。以极客时间为例，我们最开始使用 AI 处理视频的时候，只是用了一个脚本，由开发指定视频 ID，线上还是编辑用传统方法处理，线下 AI 跑了一些视频，效果得到编辑认可后，才把这个做成了功能集成到管理平台中。
数据驱动的迭代优化：在试点阶段，持续收集用户行为数据和反馈，通过 A/B 测试等方法不断优化系统表现。我们在极客时间小助手上，使用了多个厂家的 LLM，有开源的也有公司产品。通过 A/B 测试默认模型的表现，不断收集问题反馈，最终评估选择默认模型，而且还在持续迭代。
这些方法是我们在极客时间应用 AI 产品的一些思考和经验，涉及到挖掘需求、确认问题，再到如何实践，课程中覆盖多个通用的完整案例，相信也能为你的业务有效赋能。
最后，如果你有大模型应用方面的问题和经验，也欢迎分享出来，我们一起交流！接下来，就让我们正式开启本次课程的学习之旅。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
法语
德语
日语
韩语
俄语
西班牙语
解释
总结

1. 极客时间在企业内部应用了大模型技术，包括AI产品“极客时间小助手”和AI处理视频等功能，大大提高了公司的运营效率。 2. 识别企业中LLM 和 RAG潜在应用场景的方法论，包括分析业务流程、识别问题、小步快跑、快速迭代，以帮助企业发现大模型技术的应用潜力。 3. 分析业务流程中依赖大量知识或信息处理的环节，以及识别当前流程中的痛点，并识别大模型技术在解决这些痛点中的作用。 4. 大模型技术的不确定性和变化速度较快，因此需要采用“小步快跑”的策略，包括构建最小可行产品（MVP）和数据驱动的迭代优化。 5. 在企业中，大模型技术可以应用于复杂决策环节、重复性内容生成和用户交互场景，以提高决策支持、效率和用户体验。 6. 大模型技术可以解决企业内部信息碎片化和难以系统化输出的问题，以及人工处理效率低下的挑战，从而提高工作效率。 7. 极客时间在应用AI产品时，采用了A/B测试等方法不断优化系统表现，以持续提升产品的性能和用户体验。 8. 课程中覆盖多个通用的完整案例，旨在为企业的业务有效赋能，帮助企业更好地应用大模型技术。 9. 本次课程将基于当前最新的实践方法论对业务进行重新设计和规划，探索大模型在企业业务中的价值，为学习者提供实用的经验和方法。 10. 课程鼓励学习者分享大模型应用方面的问题和经验，以促进交流和共同成长。

2024-08-29给文章提建议

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《LLM & RAG 快速应用小册》

立即购买

登录后留言

精选留言

由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。

收起评论