AI 技术内参
洪亮劼
Etsy 数据科学主管,前雅虎研究院资深科学家
33455 人已学习
新⼈⾸单¥98
登录后,你可以任选6讲全文学习
课程目录
已完结/共 166 讲
开篇词 (1讲)
人工智能国际顶级会议 (31讲)
搜索核心技术 (28讲)
推荐系统核心技术 (22讲)
数据科学家与数据科学团队养成 (25讲)
AI 技术内参
15
15
1.0x
00:00/00:00
登录|注册

120 | 基于深度学习的计算机视觉技术(三):深度学习模型的优化

凸问题 vs. 非凸问题
批量归一化(Batch Normalization)
Dropout
梯度下降法
优化方法的选择
初始值的重要性
反向传播
数值计算
解析解
困难因素
优化过程中的技巧
梯度下降的近似求解
解析解的难点
梯度的计算
深度模型的特点
寻找参数的最优解
选择目标函数
模型、目标函数和优化过程的关系
思考题
深度学习模型的优化
一般机器学习模型的优化
如何优化深度学习模型?

该思维导图由 AI 生成,仅供参考

在上一讲的分享里,我们聊了应用到图像上的一些最基本的深度学习模型,主要讨论了前馈神经网络和卷积神经网络的定义,以及它们在图像处理上的应用。
今天,我们从优化的角度来讨论,如何对深度学习模型进行训练。可以说,模型优化是成功利用深度学习模型的关键步骤。

一般机器学习模型的优化

要想了解深度学习模型的优化,我们首先得来看一看一般机器学习模型的优化。先了解一些基本的步骤,我们在讨论深度学习模型优化的时候就能更容易地看清事物的本质。
在开始说模型优化之前,要说一点需要注意的问题,我觉得这一点对于初学者来说尤为重要,那就是要区分开模型、目标函数和优化过程。这三个实体相互关联而且相互影响,我们需要对每一个实体都有一个清晰的理解。
我们以线性模型作为例子,来感受下这三个实体的关系。
我们说一个模型是线性模型,是指我们期望利用一组特征(Feature)来对一个输出反馈进行线性预测。这里的线性其实主要是指参数针对于反馈变量而言是线性的。
需要注意的是,线性模型是一个数学模型。线性模型的设置本身并没有限定这个模型的参数(也就是模型的系数)是如何得来的,也就是数学模型本身的设置和得到参数的过程往往是互相独立的。我们把得到参数的过程叫作模型训练或者简称为模型优化过程
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

深度学习模型的优化是成功利用深度学习模型的关键步骤。在优化深度学习模型之前,需要了解一般机器学习模型的优化过程。模型、目标函数和优化过程是三个相互关联的概念,清晰理解它们之间的关系非常重要。一般机器学习模型的优化过程包括选择目标函数和尝试根据目标函数寻找参数的最优解,通常使用最小二乘法或对数几率损失来构造目标函数,并通过梯度下降等方法进行数值优化。 深度学习模型也需要一个目标函数来对参数进行有效学习,通常使用回归或分类来建模。然而,由于深度模型的复杂性和高度的非凸性,无法得到解析解或全局最优解,因此需要使用梯度下降等方法进行近似求解。在过去的研究中发现,良好的初始值和一些优化方法能够让优化过程变得更加容易,而一些小技巧如Dropout和批量归一化已经成为深度模型优化的标准流程之一。 深度模型优化的困难主要由深度模型的复杂性、高度的非凸性以及梯度计算的复杂性等因素造成。因此,深度学习研究领域一直致力于寻找更有效的优化方法和技巧。深度学习模型的优化是一个复杂而关键的过程,对于初学者来说,理解模型、目标函数和优化过程的关系以及深度模型优化的困难因素是非常重要的。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 技术内参》
新⼈⾸单¥98
立即购买
登录 后留言

全部留言(3)

  • 最新
  • 精选
  • 吕胜
    洪老师,以后讲解麻烦您加入图片和公式,非常感谢您
    2018-09-06
    5
  • Alice
    先回答问题 深度模型优化困难原因:1层数多复杂性高2高度非凸性。 模型:设置参数 模型训练/模型求最优解:求参数 目标函数:所用方法吧 优化过程:求参数梯度,用梯度下降或梯度上升的方法求出局部最优解
    2019-11-29
    1
  • Xiangjun
    请问,有没有关于模型优化方面更加深入一点的教程或者材料推荐?
    2018-09-09
收起评论
显示
设置
留言
3
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部