王三置顶2023-08-17 来自北京最关注本课程的工业化落地方案，目前大模型只是助理（助手），而工业化（客户）往往要求专家水平的应用。里面的gap需要一套大模型工业化方法论补充。作者回复: 同学你好！你关注的内容就是我们专栏的目标。 专栏中的内容都来自一线工业级AI大模型系统的真实经验，这也是这个专栏最独特的价值，毕竟真实的工业级AI大模型系统的实践经验是大家很难有机会接触到的。 希望大家能够通过这个专栏开阔视野，获得前瞻性的指导，理解圈内人眼中真正的大模型技术是什么，而不是隔靴搔痒、人云亦云的浅层知识。
5
Juha
2023-08-20 来自北京老师好，就是您的观点是，我们现在基于langchain做一些工具的开发是不太明智的选择嘛～作者回复: 你好，Juha！你可以使用 Langchain 做一些生产力工具，但是不要将它用在 toB 或 toC 的在线生产环境当中，这会造成很大的性能、可用性和安全的隐患。
共 2 条评论2
R_R2023-08-16 来自北京fine tune是最后一条路，精通 prompt 是基本作者回复: 你好，R_R！看来你在之前接触过相关知识，非常好。提示语工程可以有效增强模型的理解和记忆能力，补充外部知识。但是，如果想让新知识之间产生“化学反应”，涌现新的智能，还需要 finetune 的配合。在接下来的课程中，也期待你的反馈。
共 2 条评论1
peter2023-08-15 来自北京请教老师几个问题： Q1：Flowise可以在win10下运行吗？ Q2：专业、复杂软件，比较难学，知识点很多，是否可以做一个针对某个复杂软件的大模型，有问题的话可以问这个大模型。 Q3：模型对CPU、内存、硬盘空间的要求是什么样？我准备换笔记本电脑，用新的笔记本电脑来学习、练习大模型，请问：购买的时候，需要什么样的配置才能满足要求？作者回复: 你好，peter！第一个问题是共性问题，建议你参考我在其他同学下的回答。第二个问题的答案是 Yes，相信你在学完后续的课程后会有能力完成。对于第三个问题，我的建议是结合自身的预算选择一台支持 CUDA 的自用级 N 卡的机器，这样在做实验时会更方便。选择自用级而非工作站级显卡，是因为我们的日常使用强度和维保需求没有那么高，无需承担这部分溢价。 至于大模型的端到端训练实验，考虑到性价比则建议使用按量付费的云服务器进行。
1
胖胖虎2023-09-03 来自江苏Llama2和qianwen开源的目的，我认为是为了构建生态，抢占未来AIGC生态的制高点。OpenAI的闭源生态对任何有野心的厂商都是不可接受的，这无异于把城堡建在沙子上。Llama和qianwen的开源，一方面有大厂背书，第二解决了各厂商底层担心的事情。可以让各个第三方可以相对放心使用。后续的各个第三方基于其进行发展，会让整个生态逐渐生长在上面，而开源的厂商会逐渐获得生态的主导权。作者回复: 你好，胖胖虎！回答的非常好👍🏻
糖糖丸2023-08-23 来自北京开源是为了增强技术影响力，让更多从业者follow自己的标准，降低自己的技术成本，也为后续商业化做铺垫作者回复: 你好，糖糖丸！回答得很好，在接下来的课程中，也期待你的反馈。
一只豆2023-08-21 来自广东越来越期待后面的课程了～ 请教老师一个 “大模型性能评估”的问题。当我们着手针对垂直领域进行大模型的定制化开发时，我们可能在对比调用GPT4 API 和自家大模型的效果。 那关于性能评估这块，我理解一部分是 之前产品经理要做的 user case 的描述，但因为是个新技术，能力也更强，除了原先写 user case 的内功心法之外，是不是有一些新的框架性思考或者 guideline 之类的东西可以学习？ 再次感谢老师，把小圈子的知识普惠出来，功德太大了～作者回复: 你好，一只豆！ 很好的问题。大模型系统的性能评估，要分为几个层面。首先要明确业务系统的北极星指标，这部分需要配合在线 AB 实验系统进行监测。其次要定义客户的动线，也就是你说的用例，要想办法设计用户反馈闭环，让用户的反馈信息不仅能够成为 LLM 的评估指标，还能成为 LLM 的训练监督信号。最后需要评估 LLM 的本身的能力，其中包括对 LLM 的“语言知识”和“世界知识”的考察，这些方法在后面的课程中会逐一展开。在接下来的课程中，也期待你的反馈。
共 3 条评论
GAC·DU2023-08-15 来自北京开源是为了更好的商业，老师打破了开源界的砂锅。之前是吃瓜群众，看人家养了个“大胖孩子”，很好很强大，现在自己也要养一个，或许没那么大也没那么胖，但是着手干这件事已经足够颠覆了。🐂🍺作者回复: 总结的非常好！随着课程的继续，我们会一同见证这个“大胖孩子”的不断成长。