11｜地球往事：为什么CV领域首先引领预训练潮流？
Tyler
你好，我是 Tyler。
今天我们要开启一个全新的章节——技术原理篇。从今天开始，我们正式进入 AI 大模型的学习。在这节课中，主要学习内容是视觉预训练模型（Pre-Training Model，PTM）。
你可能会问，为什么要先讲预训练模型呢？很好的问题，我们所说的 AI 大模型，其实就是一种预训练模型。预训练模型会使用海量的数据对模型做长时间的预先训练，这能让它拥有强大的知识储备，更好地解决各个领域的问题。
我会带你深入学习“预训练技术”和“大模型技术”的发展历程，帮助你理解它们的来龙去脉，以便更好地学习大语言模型中的预训练方法。
视觉模型的发展之路
在开始预训练技术的学习之前，我们先来了解一下“大模型”的发展历程。
大模型这个概念在视觉领域并不陌生，第一代大模型技术就来自视觉领域。故事的开始还要从 1943 年说起，那一年神经生物学家 MeCulloch 与青年数学家 Pitts 合作，基于生物神经网络的工作特点，提出了第一个人工神经网络模型。
在此之后，神经科学成为了人工智能最重要的交叉学科之一。随着这两个学科交叉的不断深入，涌现出了各种伟大的仿生神经网络，其中最经典的网络就有我们即将学习的卷积神经网络（Convolutional Neural Networks, CNN）。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
CV领域的发展历程和预训练技术的崛起为本文的主要内容。从神经科学与人工智能的交叉学科发展，到卷积神经网络（CNN）的成功应用和深度残差网络（ResNet）的革命性变化，CV领域在预训练技术和大模型技术的发展中发挥了关键作用。文章还介绍了视觉算法的商业化进程对预训练技术的影响，以及视觉预训练模型的原理和特点。预训练大模型在视觉领域的可解释性更好，适合用于领域微调。此外，文章还提到了模型预训练相关的知识，包括通识知识和专业领域的定制化知识。总的来说，本文介绍了CV领域的发展历程、预训练技术的重要性以及视觉预训练模型的原理和应用，为读者提供了对该领域技术特点的全面了解。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 大模型系统实战》，新⼈⾸单¥59
《AI 大模型系统实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(5)
- 最新
- 精选
lw大模型也就是基础模型，也可以通过预训练模型得到，本身也是一种预训练模型作者回复: 你好，lw！回答的很好，期待你在后面课程中继续在评论区发表你的看法！
2023-10-12归属地：中国香港1
崔馨月大模型，即大语言模型（Large Language Model, LLM），其实本质上也是预训练语言模型，只是相较于最初的GPT , BERT参数更多，模型规模更大，人民俗称为大模型。作者回复: 你好，崔馨月！预训练模型为了发挥“复用”的价值，往往是参数量很大的模型，后面课程中我会带你学习预训练模型技术是如何支撑大模型的发展的。
2023-09-14归属地：北京
黎芷维 Vee预训练模型通过在大规模数据上进行预训练来学习通用的数据，然后进行微调。作者回复: 你好，黎芷维！回答的很好，是不是已经发现这节课介绍的方法和现在领域大模型微调的“套路”没什么区别啦？
2023-09-14归属地：广东- yanger2004预训练模型（Pretrained Model）是用大量数据预先训练好的模型，它们通常使用无监督学习算法进行训练，并从大量的文本或图像数据中提取出一组通用的特征，这些特征在许多不同的NLP或计算机视觉任务中都很有用。 大模型（Large Model）是指参数数量很大的深度神经网络模型，例如BERT、大语言模型等在词汇表、层数、隐藏单元等方面具有相当数量的参数。大模型需要使用更多的计算资源和更长的时间进行训练，但相应地也具有更高的模型性能和更好的泛化性能。 通常情况下，预训练模型具有更强的通用性，能够适应更多的语言和任务，而大模型则可以获得更好的性能，因为它们更强大、更丰富的参数设置可以更好地适应数据。因此，许多研究人员将预训练模型与大模型相结合，使用预训练模型初始化大模型的参数，以提高模型的性能和泛化性能。
作者回复: 你好，yanger2004！回答的很好，期待你在后面课程中的持续回复！
2023-09-04归属地：上海 
顾琪瑶只知道大模型是通过预训练模型过来的 但具体的关系并不知道, 等一手优质回答作者回复: 你好，顾琪瑶！回答的很好，相信你在后面的课程中会更加深刻地认识到这一点。
2023-09-04归属地：上海
收起评论