PyTorch 深度学习实战
方远
LINE China 数据科学家
10381 人已学习
新⼈⾸单¥59
登录后,你可以任选3讲全文学习
课程目录
已完结/共 32 讲
开篇词 (1讲)
PyTorch 深度学习实战
15
15
1.0x
00:00/00:00
登录|注册

11 | 损失函数:如何帮助模型学会“自省”?

你好,我是方远。
在前面的课程中,我们一同拿下了深度学习实战所需的预备基础知识,包括 PyTorch 的基础操作、NumPy、Tensor 的特性跟使用方法等,还一起学习了基于 Torchvision 的数据相关操作与特性。恭喜你走到这里,基础打好以后,我们距离实战关卡又进了一步。
有了基础预备知识,我们就要开始学习深度学习的几个重要的概念了。
一个深度学习项目包括了模型的设计、损失函数的设计、梯度更新的方法、模型的保存与加载、模型的训练过程等几个主要模块。每个模块都在整个深度学习项目搭建中意义重大,我特意为你画了一个示意图,方便你整体把握它们的功能。
深度学习项目核心模块
这节课咱们先从损失函数开始说起。损失函数是一把衡量模型学习效果的尺子,甚至可以说,训练模型的过程,实际就是优化损失函数的过程。如果你去面试机器学习岗位,常常会被问到前向传播、神经网络等内容,其实这些知识的考察都不可避免地会涉及到损失函数的相关概念。
今天,我就从识别劳斯莱斯这个例子,带你了解损失函数的工作原理和常见类型。

一个简单的例子

回想一下我们学习新知识的大致过程,比如现在让你背一个单词,我举一个夸张的例子:
Pneumonoultramicroscopicsilicovolcanoconiosis(矽肺病)。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

深度学习中的损失函数在模型训练中扮演着至关重要的角色。本文从损失函数的概念出发,通过生动的例子和图表,向读者解释了损失函数的工作原理和常见类型。作者以“过拟合”和“欠拟合”为例,生动地说明了模型表现效果的概念。此外,文章还介绍了损失函数和代价函数的关系,以及它们在模型训练中的作用。通过本文的阅读,读者能够快速了解损失函数在深度学习中的重要性,以及如何通过损失函数来衡量模型的学习效果。 文章首先介绍了常见的损失函数,包括0-1损失函数、平方损失函数、均方差损失函数、平均绝对误差损失函数、交叉熵损失函数和softmax损失函数。每种损失函数都得到了清晰的解释和示例,帮助读者理解它们的应用场景和计算方式。此外,文章还对有监督学习和回归问题进行了简要介绍,为读者提供了更多背景知识。 在总结部分,文章强调了损失函数在模型训练中的重要性,指出损失函数是衡量模型效果的尺子,对模型的学习过程起着至关重要的指导作用。同时,文章提醒读者在实际研发中设置好损失函数的重要性,强调了损失函数的地位甚至比得上模型网络设计。最后,文章展望了后续内容,即如何通过损失函数来更新模型参数的方法,为读者引发了对接下来内容的期待。 总的来说,本文通过清晰的解释和生动的例子,帮助读者快速了解了深度学习中常见的损失函数及其重要性,为读者打下了坚实的基础,使他们能够更好地理解和应用损失函数在深度学习中的作用。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《PyTorch 深度学习实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(13)

  • 最新
  • 精选
  • vcjmhg
    不是,如果损失函数过小可能会出现过拟合的情况,降低整个模型的泛化能力

    作者回复: 👍🏻👍🏻: )

    2021-11-03
    16
  • 没有十万伏特的皮卡丘👿
    损失函数过小可能会导致模型过拟合,降低模型的鲁棒性。

    作者回复: 👍🏻👍🏻👍🏻^^

    2021-12-05
    3
  • 术子米德
    这节课的内容,跟课程主题PyTorch之间是什么关系?

    作者回复: 你好,术子米德。谢谢你的留言。 PyTorch是用来实习机器学习算法的一个工具,它帮助我们封装了机器学习背后很多的理论知识。 编程时虽然很简单,但是背后的知识确很复杂,作为从业人员有必要知道背后的理论知识。接下来的三节课都是围绕模型参数更新的方法展开的。

    2021-11-03
    6
    3
  • John(易筋)
    损失函数的值越小越好么? 老师,我将来买了劳斯莱斯带你去兜风。如果这句话损失函数的值很小很小,有可能是做梦。 为了防止过拟合,可以正则化,踏实一点,跟方老师学完Pytorch,再考虑劳斯莱斯的事情。

    作者回复: 损失函数越小,模型的鲁棒性就越好。但是需要添加结构损失函数,防止过拟合。

    2022-08-04归属地:北京
    2
  • 和你一起搬砖的胡大爷
    老师能把soft max 交叉熵用几个数据做例子演示下计算过程吗

    作者回复: 你好,感谢你的留言。 softmax在pytorch中对应函数是torch.nn.functional.softmax(input, dim, ...),其中input是输入的tensor,dim是指需要进行softmax操作的维度,如果dim=0,表示沿着行的维度进行计算。在本节课中,我们只需要了解softmax和交叉熵损失函数的定义即可,因为在后续我们的实战环节中,将会对这几个函数进行更细致的讨论和学习。

    2021-11-05
    2
  • 醒狮
    老师好,我想请教一下,就是咱们这一节的内容需要掌握到什么程度那?感觉只是对这些函数有了个最基本的了解,谢谢您!

    作者回复: 当然是理解的越深入越好啦

    2022-08-04归属地:北京
    1
  • clee
    老师,还有激活函数也经常听到,后面会讲吗?

    作者回复: 你好,clee,感谢你的留言。 后面没有对激活函数的讲解,不过这部分知识还是比较容易的。你可以尝试自己去看一看^^

    2021-11-08
    2
  • 不一定,损失函数的值很小既有可能是模型较好,也可能是模型过拟合

    作者回复: 你好,官,谢谢你的留言。 👍🏻👍🏻^^,加油~

    2021-11-03
  • Jerusalem
    太小可能会过拟合

    作者回复: 你好,Jerusalem。感谢你的留言。 👍🏻👍🏻👍🏻👍🏻👍🏻👍🏻 ^^

    2021-11-03
  • ifelse
    损失函数太小,会过拟合
    2023-11-29归属地:浙江
收起评论
显示
设置
留言
13
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部