• 黎芷维 Vee
    2023-09-14 来自广东
    预训练模型通过在大规模数据上进行预训练来学习通用的数据,然后进行微调。

    作者回复: 你好,黎芷维!回答的很好,是不是已经发现这节课介绍的方法和现在领域大模型微调的“套路”没什么区别啦?

    
    
  • yanger2004
    2023-09-04 来自上海
    预训练模型(Pretrained Model)是用大量数据预先训练好的模型,它们通常使用无监督学习算法进行训练,并从大量的文本或图像数据中提取出一组通用的特征,这些特征在许多不同的NLP或计算机视觉任务中都很有用。 大模型(Large Model)是指参数数量很大的深度神经网络模型,例如BERT、大语言模型等在词汇表、层数、隐藏单元等方面具有相当数量的参数。大模型需要使用更多的计算资源和更长的时间进行训练,但相应地也具有更高的模型性能和更好的泛化性能。 通常情况下,预训练模型具有更强的通用性,能够适应更多的语言和任务,而大模型则可以获得更好的性能,因为它们更强大、更丰富的参数设置可以更好地适应数据。因此,许多研究人员将预训练模型与大模型相结合,使用预训练模型初始化大模型的参数,以提高模型的性能和泛化性能。

    作者回复: 你好,yanger2004!回答的很好,期待你在后面课程中的持续回复!

    
    
  • 顾琪瑶
    2023-09-04 来自上海
    只知道大模型是通过预训练模型过来的 但具体的关系并不知道, 等一手优质回答

    作者回复: 你好,顾琪瑶!回答的很好,相信你在后面的课程中会更加深刻地认识到这一点。

    
    
  • 崔馨月
    2023-09-14 来自北京
    大模型,即大语言模型(Large Language Model, LLM),其实本质上也是预训练语言模型,只是相较于最初的GPT , BERT参数更多,模型规模更大,人民俗称为大模型。
    
    