开篇词｜为什么说RAG是AI 2.0时代的“杀手级”应用？

常扬

本门课程为精品小课，不标配音频
你好，我是常扬，欢迎你加入到《RAG 快速开发实战》课程的学习中。
在正式开始之前，我想先介绍一下自己，我本科在同济大学学习软件工程，后来又在复旦大学攻读人工智能方向的硕士和博士，期间发表过多篇 SCI 核心论文。目前在一家知名 AI 公司任职研发总监，已经有十余年了，负责从 AI 数据清洗、训练、测试系统等 AI 研发平台搭建，到 AI 技术产品、云服务平台以及大模型应用探索。
这些年我跟随时代的脚步，跨过了移动互联网，又从 AI 1.0 进入 AI 2.0 时代。可以说，我既是互联网软件开发者，也是 AI 学术研究者，这些年我在开发者的视角下，带入 AI 学术的洞见，以研发可用、好用的 AI 产品为追求目标，致力于把自己的经验和知识传播给更多的同行者。
同时，我经常参与会议演讲与技术社区活动，与开发者保持高频的面对面交流，深刻理解开发者在 AI 应用开发中面临的挑战，尤其是在技术选型和应用优化方面的需求。在 WAIC、VALSE、CCIG、InfoQ AICon、AiDD 等多个学术会议及开发者大会上，我分享 RAG 相关的专题内容，曾获得开发者们的青睐，荣获最佳演讲主题奖。
同时我作为 CSDN 和微信公众号的 AI 专家博主，这些年一直坚持写作，传播 AI 科研技术与 AI 工程应用的经验，希望将 AI 学术与工程实践紧密结合，来推动 AI 行业的发展。
为什么做 AI 产品工程研发要充分掌握 AI 技术？我在企业中成功打造过 ToC 和 ToB 的 AI 产品，深知 AI 产品从 MVP（Minimum Viable Product, 最小可用产品）到 PMF（Product-Market Fit, 产品市场契合）的演进过程中所面临的挑战。做一个 AI 产品的 Demo 容易，但要把它打造成好用的产品却极为困难。
PMF，产品和市场的最佳契合点，是产品满足市场需求令客户满意的里程碑，也是产品成功和业务增长的起点。要实现 AI 产品的 PMF，首先需要充分了解 AI 技术，明确技术的边界，避免盲目乐观或悲观，找到合适 AI 技术的应用场景。其次，深刻理解业务是关键，用户需求决定产品方向，AI 技术则是为业务服务的工具。在验证阶段，优先使用最佳 AI 模型以确保产品满足市场需求，确认后再逐步降低模型成本。
在整个过程中，要始终坚持业务优先、价值至上的原则，避免团队走向纯 AI 科研化，脱离实际应用场景做 AI 技术选型。最关键的是，通过构建 AI 产品的独特壁垒，有效抵御增长过程中竞争者的模仿与复制。
而我做这样一门课程的原因就是希望通过分享 RAG 技术，结合我在企业 RAG 项目中的工程与产品经验，帮助你更深入地理解 RAG 和大模型技术的优势与局限。我将从学术角度揭示 RAG 的本质，厘清技术边界，从工程角度引导你如何根据具体场景和用户需求进行合理的技术选型，从产品角度帮助你构建自己的 RAG 产品壁垒，实现业务的可持续增长。
为什么选择 RAG 技术？在由 OpenAI ChatGPT 引领的 AI 2.0 大模型时代，我们见证了大模型（LLM, Large Language Model）在知识、逻辑、推理能力上的突破，其通识理解能力已超越许多人类专家，并且仍在飞速进步，尚未达到顶峰。
Scaling Law、压缩产生智能、边际成本为零就是理想中的 AGI，AI 2.0 技术范式的变革正在引发 AI 软件时代的巨大变迁，正如移动互联网时代的到来使得 PC 时代的软件应用迅速成为历史一样，大模型将带来大量应用机会，AI“杀手级应用”将不断涌现，且数量会越来越多。作为软件工程师，我们正处于一个充满机遇的历史时刻，拥抱 AI 应用已成为必然选择。
尽管大模型功能强大，但它当前仍存在幻觉、知识时效性、领域知识不足及数据安全问题的局限性。RAG（Retrieval Augmented Generation，检索增强生成）技术正是在这样的背景下应运而生，成为了当前大模型应用的重要技术方向，文档问答类 LLM RAG 应用也被认为是 AI 2.0 时代最早落地的应用类型之一。
RAG 技术使开发者能够在无需为每个特定任务重新训练或微调大模型的情况下，通过连接外部知识库和文档，为模型注入额外的非参数化知识，从而显著提升其在专业领域的能力和回答精度。RAG 技术赋予大模型在各行各业和各种垂直场景中巨大的效率和体验价值，有望成为最快涌现的“杀手级应用”，已成为大模型应用落地最热门的方向之一。
对于 RAG 应用开发者来说，相较于移动互联网软件开发、AI 1.0 时代的 AI 能力集成，最大的变化是 AI 技术的深度使用，需要更加深入地理解 AI 技术组件，具备调整组件内部细节的能力，以便进行更好的 AI 软件编排和提升应用效果。比如文档分块、向量化嵌入、向量数据库、相似度查询、召回、重排序、大模型和提示词等众多 AI 相关概念，都需要深入了解，才能根据业务场景进行最合适的技术选型。甚至在某些情况下，开发者还需掌握这些技术的细节，亲自进行组件的改造和优化，才能实现最佳的应用效果。
这些新技术词汇和组件可能看起来令人望而生畏，但我保证，如果学习方法得当，这些 AI 技术组件其实是容易掌握和操作的。我从软件工程师成长为 AI 领域的研究者和从业者，深知在初涉 AI 应用开发时的迷茫感受。在这门课程中，我会凝聚自己在 AI 工程和学术能力成长过程中的经验与教训，帮你拨开迷雾，通过第一性原理深入理解每一个 AI 技术点的本质，从技术根基的扎实掌握，到应对客户场景时的灵活运用组件，让你快速掌握 RAG 技术能力，紧跟 AI 2.0 时代的巨大产品机遇。
这门课是怎么设计的？就像学习编程语言从 “Hello World” 开始一样，我们也从实战出发，通过实践来获取知识。不同于传统教材从知识点逐步推向系统应用的方式，我们的课程从一个完整的 RAG 项目实战入手，先帮助你打造完整的 RAG 知识架构。
随后，我们将每个独立的技术点通过代码实战逐一填充到这个框架中，同时每一次学习都能加深对整体架构的理解。最终在课程结束之后，面对简单的业务场景，你将能够快速选择合适的技术组件，完成 LLM RAG 应用的编排和产品搭建；面对复杂的业务场景，你也能凭借掌握的核心技术原理，判断优化方向，集中精力提升产品性能，打造出极具竞争力的 RAG 产品。
课程开始，我会先用一节课介绍 RAG 技术的核心本质和技术流程，随后立即进入从 0 到 1 快速搭建 RAG 应用的实战。在实战过程中，我会对技术选型、组件库以及代码的每一行都进行必要的分析和注释，力求每行代码都能清晰表达 RAG 框架中的技术关键点，避免无关的代码让你失去焦点，从而使你专注于 RAG 知识的掌握。
接下来，课程将从业务场景出发，逐步介绍 RAG 的核心技术流程，包括索引、检索、生成中的各个技术组件，以及针对具体业务需求进行的组件优化实战。我们会持续迭代和优化 RAG 应用项目的代码，每节课都会提供可运行的代码文件，代码实战与知识点相互印证，最终实现对 RAG 技术组件相关知识的全面掌握和代码项目实践能力的双提升，达到不仅能使用技术，还能改进技术的层次。
课程结尾，我会介绍 RAG 的进阶内容，并紧跟前沿研究动态。RAG 进阶部分将结合复杂业务场景，选择更加复杂的技术流程和组件，快速找到优化方向，提高产品性能，构筑产品壁垒。我们正处在 AI 2.0 极速变化的时代，甚至每个月技术进展都会发生巨大的变化，掌握前沿研究动态将为我们的产品塑造先发竞争优势，使我们在先发优势的时间窗口内抢占市场和用户。
最后，我想说的是，AI 2.0 为我们带来了巨大的时代机遇，将创造前所未有的社会进步。我希望你能够积极拥抱 AI 技术，它并没有那么高深莫测，反而正在逐步走向产业化、普及化。就像当初的移动互联网技术，早期进入的那批企业和个人都享受到了时代带来的红利。
雷军在《小米的创业思考》有句话：当遭遇复杂问题时，对工程师而言，最重要的是先找到“第一把扳手”，立即行动起来。那么，让我们从现在开始吧！

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
法语
德语
日语
韩语
俄语
西班牙语
解释
总结

1. RAG技术是AI 2.0时代的“杀手级”应用，能够通过连接外部知识库和文档，提升模型在专业领域的能力和回答精度。 2. RAG技术使开发者能够为大模型注入额外的非参数化知识，从而显著提升其在各行各业和各种垂直场景中的效率和体验价值。 3. AI产品工程研发需要充分掌握AI技术，深刻理解业务需求，避免团队走向纯AI科研化，脱离实际应用场景做AI技术选型。 4. 课程设计以实战为主，通过实践来获取知识，从一个完整的RAG项目实战入手，帮助学习者打造完整的RAG知识架构，逐步填充技术点并加深对整体架构的理解。 5. 课程将从业务场景出发，逐步介绍RAG的核心技术流程，包括索引、检索、生成中的各个技术组件，以及针对具体业务需求进行的组件优化实战。 6. 课程结尾将介绍RAG的进阶内容，并紧跟前沿研究动态，以抢占市场和用户，掌握前沿研究动态将为产品塑造先发竞争优势。 7. AI 2.0时代为社会带来巨大的机遇，希望学习者能积极拥抱AI技术，掌握时代带来的红利，就像当初的移动互联网技术一样。 8. 学习者需要从现在开始行动，积极应对复杂问题，掌握技术并立即行动起来。 9. AI 2.0时代的技术进展巨大，RAG技术被认为是AI 2.0时代最早落地的应用类型之一，有望成为最快涌现的“杀手级应用”。 10. AI产品的成功与业务增长的起点在于产品和市场的最佳契合点，需要充分了解AI技术，明确技术的边界，避免盲目乐观或悲观。

2024-08-26给文章提建议

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《RAG 快速开发实战》

立即购买

登录后留言

精选留言

由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。

收起评论