• 西钾钾
    2025-03-21 来自浙江
    从当前章节来看,蒸馏最终也会用到微调,只不过蒸馏的训练数据来源于老师模型的“生成数据”,而微调数据来源与人工标注的“真实数据”。从这个方面来理解的话,使用“真实数据”的微调针对特定场景的确定性相对较高,不知道是否可以这样理解。 还有一个问题,之前简单了解过蒸馏,其中提到一个过程【学生模型通过模仿教师模型的输出(如预测概率分布、中间特征等)】这个该怎么理解呢?感谢老师的解答。

    作者回复: 第一个问题可以这么理解,第二个问题,不需要理解理论,只要知道蒸馏就是能力的传递就可以

    
    2
  • Geek_a0045a
    2025-03-21 来自四川
    老师您好,我们公司最近调研ai客服这块,业务上偏问答,但是部分业务是客服问用户,以获取目标信息,请问文本对话模型,在垂直领域这一块的话,怎么选型呢?有什么思路,或者推荐的模型吗?

    作者回复: 垂直领域需要做微调或者RAG,模型用ds就可以

    共 4 条评论
    
  • 戒不掉的瘾
    2025-03-21 来自上海
    老师, 麻烦请教下, 如果是图片/Excel等 + think + 结果, 如何微调呢

    作者回复: ds 不支持多模态 所以图片这种数据没法蒸馏

    
    