极客视点
极客时间编辑部
极客时间编辑部
113231 人已学习
免费领取
课程目录
已完结/共 3766 讲
2020年09月 (90讲)
时长 05:33
2020年08月 (93讲)
2020年07月 (93讲)
时长 05:51
2020年06月 (90讲)
2020年05月 (93讲)
2020年04月 (90讲)
2020年03月 (92讲)
时长 04:14
2020年02月 (87讲)
2020年01月 (91讲)
时长 00:00
2019年12月 (93讲)
2019年11月 (89讲)
2019年10月 (92讲)
2019年09月 (90讲)
时长 00:00
2019年08月 (91讲)
2019年07月 (92讲)
时长 03:45
2019年06月 (90讲)
2019年05月 (99讲)
2019年04月 (114讲)
2019年03月 (122讲)
2019年02月 (102讲)
2019年01月 (104讲)
2018年12月 (98讲)
2018年11月 (105讲)
时长 01:23
2018年10月 (123讲)
时长 02:06
2018年09月 (119讲)
2018年08月 (123讲)
2018年07月 (124讲)
2018年06月 (119讲)
时长 02:11
2018年05月 (124讲)
时长 03:16
2018年04月 (120讲)
2018年03月 (124讲)
2018年02月 (112讲)
2018年01月 (124讲)
时长 02:30
时长 02:34
2017年12月 (124讲)
时长 03:09
2017年11月 (120讲)
2017年10月 (86讲)
时长 03:18
时长 03:31
时长 04:25
极客视点
15
15
1.0x
00:00/02:02
登录|注册

OpenAI发布最新元学习算法Reptile

讲述:杜力大小:952.12K时长:02:02
近日,OpenAI 发表了一篇博客,介绍了他们新设计的元学习算法“Reptile”。算法的结构不仅简单,而且可以同时兼顾单个样本和大规模样本的精确学习。
OpenAI 还在博客页面上做了一个互动界面,可以直接在四个方框里画出训练样本和要分类的样本,算法可以立即学习、实时更新分类结果。开发人员可以到博客页面自行尝试一下。
根据 OpenAI 的介绍,这个新的元学习(meta-learning)算法 Reptile 的运作原理是反复对任务采样、在其上运用梯度下降,并从初始参数开始,持续地向着任务上学到的参数更新。
据介绍,Reptile 可以和应用广泛的元学习算法 MAML (model-agnostic meta-learning)达到同样的表现,同时还更易于实现、计算效率更高。
元学习是一个学习“如何学习”的过程。一个元学习算法要面对一组任务,其中每一个任务都是一个学习问题。然后算法会产生一个快速学习器,这个学习器有能力从很小数目的一组样本中泛化。小样本分类(few-shot classification)就是一个得到了充分研究的元学习问题。
在工作方式上,和元学习算法 MAML 类似,Reptile 首先会为神经网络寻找一组初始参数,以便可以根据来自新任务的数量不多的几个样本进行精细调节(fine-tune)。
不过,相比于 MAML 需要在梯度下降算法的计算图中展开并求导,Reptile 只需要简单地在每个任务中以标准方法执行随机梯度下降(SGD),并不需要展开一个计算图以及计算任何二阶导数。这样的设计让 Reptile 所需的计算资源和存储资源都比 MAML 更小。
Reptile 的计算借助 TensorFlow 完成,现在,OpenAI 已经把它的算法实现开源在了 GitHub 上。另外,他们还编写了一个 JavaScript 的实现,模型预训练仍然由 TensorFlow 完成,然后由 JavaScript 根据样本做精细调节。OpenAI 博客中的算法样例就是借助 JavaScript 实现完成的。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
免费领取
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
5
沉浸
阅读
分享
手机端
快捷键
回顶部