解锁小样本学习的3种典型方法
王天一

你好,我是王天一。
计算机处理器速度的不断提升、存储容量的不断增加和网络带宽的不断扩展使得海量数据、尤其是非结构化数据的储存与处理成为可能,这不仅催生了“大数据”这一新生学科,也成为了机器学习和深度学习爆炸式发展的推动力。
在机器学习领域有这样一句箴言:“数据和特征决定了机器学习性能的上限,而模型和算法只是不断逼近这个上限。”数据的不足会导致维度灾难的问题:简而言之就是太少的数据不足以揭示其背后的规律,从而导致过拟合的发生,这显然不是理想的结果。反过来,数据数量越大,数据中蕴藏的模式与规律就更容易被捕捉,从而为算法的优化奠定良好的基础。
但现实与理想往往存在差距。在现实生活中,某些学习任务可能只有少量数据或少量标注数据可供使用,数据本身可能由于各种各样的原因无法获取,无标签数据的标注则会因消耗大量的时间和人力而难以实现。
从另外一个角度看,人工智能要模拟的是人类的智能,可人类的学习绝不需要大量同质数据的堆砌:卷积神经网络需要大量的训练图像来习得分辨猫狗的能力,可人类幼儿只需要在电视上或者生活中看见猫狗的形象,当他再看到相似的动物时,就会马上分清什么是猫什么是狗。
受到人类学习过程的启发,研究者们逐渐开始反其道而行之,力图突破数据数量对学习性能的限制,小样本学习(Few-shot Learning)的概念应运而生。小样本学习希望解决传统机器学习方法在样本数据不充分时性能严重下降的问题,旨在利用较少的有监督样本数据去构建具有良好性能的机器学习模型。
公开
同步至部落
取消
完成
0/2000
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结

1. 小样本学习的典型方法包括基于模型微调、基于数据增强和基于度量学习。 2. 基于模型微调的小样本学习方法通过调整已有模型使之适配新数据,可通过合理的初始参数和学习率来快速适应新任务。 3. 基于数据增强的小样本学习方法旨在提升数据的多样性,可以利用生成式对抗网络生成新数据或通过构造泛化性能更强的特征提取器来增强数据多样性。 4. 小样本学习的发展受到人类学习过程的启发,力图突破数据数量对学习性能的限制,以解决传统机器学习方法在样本数据不充分时性能严重下降的问题。 5. 小样本学习的目标是利用较少的有监督样本数据去构建具有良好性能的机器学习模型,适用于某些学习任务只有少量数据或少量标注数据可供使用的情况。 6. 基于度量学习的小样本学习方法是一种基于迁移学习的方法,借助大规模数据集提取先验知识并迁移到新类别的小样本学习任务中去。 7. 度量学习通过给定的距离函数计算样本之间的距离,从而度量它们的相似度,可以结合深度学习提高相似度的表示能力。 8. 将深度学习与小样本学习结合的初步尝试是孪生网络,用于计算未知样本与每个类别已知样本的相似度,以实现类别预测。 9. 小样本学习方法在计算机视觉、图像识别、自然语言处理等领域得到广泛应用,为解决实际场景中数据不足的问题提供了有效途径。 10. 小样本学习的发展旨在突破数据数量对学习性能的限制,为机器学习在实际应用中提供更灵活、高效的解决方案。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》,新⼈⾸单¥59
《机器学习 40 讲》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论