35 深度学习之外的人工智能 | 授人以鱼不如授人以渔：迁移学习
王天一
该思维导图由 AI 生成，仅供参考
无论是小学还是大学，在教学中都会强调的一个问题就是“举一反三”，将学到的规律灵活地运用到其他相似的场景下。而要想让人工智能学会举一反三，用到的就是迁移学习技术。
迁移学习（transfer learning）是运用已学习的知识来求解不同但相关领域问题的新的机器学习方法，目的是让机器“学会学习”。当训练数据和测试数据来自不同的特征空间或遵循不同的概率分布时，如果能够将从训练数据上习得的知识迁移到测试数据上，就可以回避掉复杂的数据标签工作，进而提升学习性能。迁移学习就是解决这个问题的学习框架，它能够对仅有少量甚至没有标签样本进行学习，从而解决目标问题。
许多机器学习和数据挖掘算法都建立在两个主要假设之上：第一，训练样本和测试数据必须处于相同的特征空间并具有相同的分布；第二，有足够的高质量训练样本作为学习资源。
遗憾的是，这两个假设在大多数实际应用中难以成立。一方面，训练数据和测试数据在时间上的差异可能导致分布规律的变化；另一方面，对大量数据进行标注不仅费时费力，还容易受到知识产权问题的影响。一旦没有数据，再好的深度学习方法都是无源之水，无本之木，难以发挥作用。
迁移学习的出现给解决这些问题带来了一丝曙光。其实说到底，迁移学习可以看作是提升学习算法泛化性能的一种思路。现实世界并非标准化和结构化的数据集，而是杂乱无章的万花筒，包含着大量从未在训练集中出现过的全新场景，这足以让许多在训练集上无往不胜的人工智能变成真实世界中的“人工智障”。迁移学习有助于算法处理全新场景下的问题，利用一般化的规律去应对富于变化的环境。
在迁移学习中，已有的知识（包括样本数据集及其分布）叫做源域，要学习的新知识叫做目标域。同样，待解决的任务也可以分为源任务和目标任务。根据源域 / 目标域和源任务 / 目标任务的关系，迁移学习问题可以划分为以下三类：
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
迁移学习：机器学习的新思路 迁移学习作为一种新的机器学习方法，正在引领下一波机器学习技术的发展。本文介绍了迁移学习的概念和应用，强调了其在解决实际问题中的重要性。迁移学习的核心问题包括迁移什么、能不能迁移、如何迁移，而具体的迁移方法包括基于样本、特征、模型和关系的迁移学习。此外，文章还提到了迁移学习需要解决的一系列理论问题，强调了迁移学习对机器学习的重要意义。 另一方面，文章还介绍了元学习的概念，即通过对元数据的自动化学习来提升学习算法的灵活性，从而解决学习算法的归纳偏差和实用性的限制。元学习可以对不同的学习算法进行学习，选择，更改或组合，以有效地解决给定的学习问题。 总的来说，迁移学习是一种利用已学习的知识来求解不同但相关领域问题的新的机器学习方法，旨在让机器“学会学习”。它适用于跨领域和小数据的学习任务，任务类型包括归纳迁移学习，直推式迁移学习和无监督迁移学习，学习方法包括基于样本、基于特征、基于模型和基于关系。迁移学习的重要性也得到了人工智能领域的专家的认可，预示着迁移学习将引领下一波机器学习技术的发展。 综上所述，迁移学习和元学习为机器学习领域带来了新的思路和方法，对于解决实际问题和提升学习算法的灵活性具有重要意义。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《人工智能基础课》，新⼈⾸单¥59
《人工智能基础课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(4)
- 最新
- 精选
林彦谢谢王教授分享。 请问基于特征选择的迁移学习“从目标域数据中选择特有的特征来对共同特征训练出的通用分类器进行精化”，是从已经选择出的共同特征中，根据其与目标域的样本类别的相关程度，去除一些相关程度低的共同特征吗？ 感觉目前迁移样本或特征的选择，权重还没有比较科学可靠的标准。有些依赖于经验，有些求解比较困难。应用上通过人类经验的认知，在一些特定领域，比如图像识别，序列信号识别是有可能有一些更通用的底层的方法或模型能迁移到一个新的领域来提升其学习的表现或速度。有其价值，如何取得突破我的认知还不够判断力有限。作者回复: 一般来说，源域和目标域只有部分重合的特征，这些共有特征构成了迁移学习的基础。但据此把源域的学习结果套用到目标域上，相当于只考虑了两者的共性，而忽略了目标域的个性。这时就需要用目标域的独有特征，也就是共同特征之外的feature专门对目标域加以优化。就相当于我学习了学霸的学习方法，再根据自身情况加以微调，找到最适合自己的方法。 权重确定是可以转化成最优化问题的，其中的方法就复杂了，但肯定依赖于具体问题。
2018-02-272
桃园悠然在王老师好，自动驾驶算法应用于扫地机器人的路径规划算不算迁移学习的实际应用？2018-11-021
ifelse
学习打卡2023-05-16归属地：浙江- 杨家荣极客时间 21天打卡行动 33/21 <<人工智能基础课35>>迁移学习 回答老师问题: 迁移学习的前景 基于实例的深度迁移学习、基于映射的迁移学习、基于网络的迁移学习和基于对抗的迁移学习。在大部分实际应用中，上述方法被组合应用以获得更好的模型性能。当前大量的迁移学习研究都关注于有监督学习领域，未来深度学习在无监督和半监督领域可能会受到越来越多的关注。在传统迁移学习算法中，负迁移和迁移学习衡量方式是一个非常关键的问题，这也是在深度迁移学习中需要我们更加关注的研究。可以预见，随着深度学习的快速发展，深度迁移学习将会被广泛的应用在一些具有挑战性的课题上。 [来源链接：https://www.jianshu.com/p/fdd04a6e1c2d] 今日所学: 1,迁移学习（transfer learning）是运用已学习的知识来求解不同但相关领域问题的新的机器学习方法，目的是让机器“学会学习”。 2,迁移学习可以看作是提升学习算法泛化性能的一种思路; 3,在迁移学习中，已有的知识（包括样本数据集及其分布）叫做源域，要学习的新知识叫做目标域。同样，待解决的任务也可以分为源任务和目标任务。 4,迁移学习问题划分三类:a,归纳迁移学习b,直推式迁移学习,c,无监督迁移学习 5,基于样本的迁移学习是对已有样本的重用过程，它通过调整源域中原始样本的权重系数，使之和目标域匹配，进而应用在目标域中; 6,基于特征的迁移学习是特征表示的重建过程，它通过特征变换使得源域数据与目标域数据处在同一个特征空间之上，再在这个公共空间上进行学习; 7,基于模型的迁移学习是已有模型的转移过程，它假设源任务和目标任务共享一些参数或者一些先验分布，将在训练数据上训练好的成熟模型应用到目标域上解决问题。 8,基于关系的迁移学习是问题结构的复制过程，如果源域和目标域之间共享了某种相似关系，那就可以将源域上的逻辑关系网络应用到目标域上; 重点: 1,迁移学习是运用已学习的知识来求解不同但相关领域问题的新的机器学习方法，目的是让机器“学会学习”； 2,迁移学习适用于跨领域和小数据的学习任务； 3,迁移学习的任务类型可以分为归纳迁移学习，直推式迁移学习和无监督迁移学习；4,迁移学习的学习方法包括基于样本、基于特征、基于模型和基于关系2020-01-20
收起评论