04｜游目骋怀：工业级的大模型系统强在哪？
常见误区（弱在哪里）
误区一：将 LangChain 和 AutoGPT 认作真正的 LLM 系统
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
本文深入探讨了构建工业级大模型系统的技术优势和挑战。首先，指出了常见误区，如对开源工具的误解和忽视内容生成质量问题。接着，提出了应对之道，包括提升理论知识、训练大模型以及微调模型的方法。强调了理论知识的重要性，特别是在人工智能算法的原理方面，以及在实际工业场景中构建离线数据工程和模型训练系统的关键性。此外，介绍了多机多卡的分布式训练和使用强化学习方法微调大模型的技巧。总的来说，本文为读者提供了深入了解工业级大模型系统的理论知识和实际应用的指导，帮助读者更好地理解和应用大模型系统的技术特点。
《AI 大模型系统实战》，新⼈⾸单¥59
全部留言(12)
- 最新
- 精选
王三置顶最关注本课程的工业化落地方案，目前大模型只是助理（助手），而工业化（客户）往往要求专家水平的应用。里面的gap需要一套大模型工业化方法论补充。作者回复: 同学你好！你关注的内容就是我们专栏的目标。 专栏中的内容都来自一线工业级AI大模型系统的真实经验，这也是这个专栏最独特的价值，毕竟真实的工业级AI大模型系统的实践经验是大家很难有机会接触到的。 希望大家能够通过这个专栏开阔视野，获得前瞻性的指导，理解圈内人眼中真正的大模型技术是什么，而不是隔靴搔痒、人云亦云的浅层知识。
2023-08-17归属地：北京7
胖胖虎Llama2和qianwen开源的目的，我认为是为了构建生态，抢占未来AIGC生态的制高点。OpenAI的闭源生态对任何有野心的厂商都是不可接受的，这无异于把城堡建在沙子上。Llama和qianwen的开源，一方面有大厂背书，第二解决了各厂商底层担心的事情。可以让各个第三方可以相对放心使用。后续的各个第三方基于其进行发展，会让整个生态逐渐生长在上面，而开源的厂商会逐渐获得生态的主导权。作者回复: 你好，胖胖虎！回答的非常好👍🏻
2023-09-03归属地：江苏6
Juha
老师好，就是您的观点是，我们现在基于langchain做一些工具的开发是不太明智的选择嘛～作者回复: 你好，Juha！你可以使用 Langchain 做一些生产力工具，但是不要将它用在 toB 或 toC 的在线生产环境当中，这会造成很大的性能、可用性和安全的隐患。
2023-08-20归属地：北京56
糖糖丸开源是为了增强技术影响力，让更多从业者follow自己的标准，降低自己的技术成本，也为后续商业化做铺垫作者回复: 你好，糖糖丸！回答得很好，在接下来的课程中，也期待你的反馈。
2023-08-23归属地：北京3
周晓英最颠覆我认知或者说我最有同感的地方，是大模型领域demo级别的代码调用，和真正的工业化落地方案，中间还有巨大的鸿沟需要跨越。大模型的新闻每天都有非常多，让人眼花缭乱，实际上很多新闻稿都存在宣传因素，上手实验一下发现可能并不完全是那么回事，而即使上手实验能成功，可能还只是老师说的demo级别，和真正的商业应用差距还非常大，因此有一点简单的进展，一定要保持冷静，后边的坑还会很多。作者回复: 你好，周晓英！说的很好，希望在后面的课程中继续和你交流。
2023-10-02归属地：美国22
R_Rfine tune是最后一条路，精通 prompt 是基本作者回复: 你好，R_R！看来你在之前接触过相关知识，非常好。提示语工程可以有效增强模型的理解和记忆能力，补充外部知识。但是，如果想让新知识之间产生“化学反应”，涌现新的智能，还需要 finetune 的配合。在接下来的课程中，也期待你的反馈。
2023-08-16归属地：北京22
一只豆越来越期待后面的课程了～ 请教老师一个 “大模型性能评估”的问题。当我们着手针对垂直领域进行大模型的定制化开发时，我们可能在对比调用GPT4 API 和自家大模型的效果。 那关于性能评估这块，我理解一部分是 之前产品经理要做的 user case 的描述，但因为是个新技术，能力也更强，除了原先写 user case 的内功心法之外，是不是有一些新的框架性思考或者 guideline 之类的东西可以学习？ 再次感谢老师，把小圈子的知识普惠出来，功德太大了～作者回复: 你好，一只豆！ 很好的问题。大模型系统的性能评估，要分为几个层面。首先要明确业务系统的北极星指标，这部分需要配合在线 AB 实验系统进行监测。其次要定义客户的动线，也就是你说的用例，要想办法设计用户反馈闭环，让用户的反馈信息不仅能够成为 LLM 的评估指标，还能成为 LLM 的训练监督信号。最后需要评估 LLM 的本身的能力，其中包括对 LLM 的“语言知识”和“世界知识”的考察，这些方法在后面的课程中会逐一展开。在接下来的课程中，也期待你的反馈。
2023-08-21归属地：广东31
peter请教老师几个问题： Q1：Flowise可以在win10下运行吗？ Q2：专业、复杂软件，比较难学，知识点很多，是否可以做一个针对某个复杂软件的大模型，有问题的话可以问这个大模型。 Q3：模型对CPU、内存、硬盘空间的要求是什么样？我准备换笔记本电脑，用新的笔记本电脑来学习、练习大模型，请问：购买的时候，需要什么样的配置才能满足要求？作者回复: 你好，peter！第一个问题是共性问题，建议你参考我在其他同学下的回答。第二个问题的答案是 Yes，相信你在学完后续的课程后会有能力完成。对于第三个问题，我的建议是结合自身的预算选择一台支持 CUDA 的自用级 N 卡的机器，这样在做实验时会更方便。选择自用级而非工作站级显卡，是因为我们的日常使用强度和维保需求没有那么高，无需承担这部分溢价。 至于大模型的端到端训练实验，考虑到性价比则建议使用按量付费的云服务器进行。
2023-08-15归属地：北京31- 周晓英llama2和千问开源的目的，可能有几个： 一是展示企业的技术实力，确立业界领先地位。 二是通过开源吸引大量开发者，从而可以广泛收集数据和反馈，迭代自己的模型。 三是将开源模型作为试用品，将能力更强的商业模型作为收费产品或收费服务，形成销售漏斗。 当然也可能有开源精神、希望成为行业领袖的因素。
作者回复: 你好，周晓英！回答得很好，相信你已经充分理解了这节课中的一个知识点。希望在后面的课程中继续和你交流。
2023-10-02归属地：美国2 
GAC·DU开源是为了更好的商业，老师打破了开源界的砂锅。之前是吃瓜群众，看人家养了个“大胖孩子”，很好很强大，现在自己也要养一个，或许没那么大也没那么胖，但是着手干这件事已经足够颠覆了。🐂🍺作者回复: 总结的非常好！随着课程的继续，我们会一同见证这个“大胖孩子”的不断成长。
2023-08-15归属地：北京