OpenAI发布最新元学习算法Reptile
极客时间编辑部
讲述:杜力大小:952.12K时长:02:02
近日,OpenAI 发表了一篇博客,介绍了他们新设计的元学习算法“Reptile”。算法的结构不仅简单,而且可以同时兼顾单个样本和大规模样本的精确学习。
根据 OpenAI 的介绍,这个新的元学习(meta-learning)算法 Reptile 的运作原理是反复对任务采样、在其上运用梯度下降,并从初始参数开始,持续地向着任务上学到的参数更新。
据介绍,Reptile 可以和应用广泛的元学习算法 MAML (model-agnostic meta-learning)达到同样的表现,同时还更易于实现、计算效率更高。
元学习是一个学习“如何学习”的过程。一个元学习算法要面对一组任务,其中每一个任务都是一个学习问题。然后算法会产生一个快速学习器,这个学习器有能力从很小数目的一组样本中泛化。小样本分类(few-shot classification)就是一个得到了充分研究的元学习问题。
在工作方式上,和元学习算法 MAML 类似,Reptile 首先会为神经网络寻找一组初始参数,以便可以根据来自新任务的数量不多的几个样本进行精细调节(fine-tune)。
不过,相比于 MAML 需要在梯度下降算法的计算图中展开并求导,Reptile 只需要简单地在每个任务中以标准方法执行随机梯度下降(SGD),并不需要展开一个计算图以及计算任何二阶导数。这样的设计让 Reptile 所需的计算资源和存储资源都比 MAML 更小。
Reptile 的计算借助 TensorFlow 完成,现在,OpenAI 已经把它的算法实现开源在了 GitHub 上。另外,他们还编写了一个 JavaScript 的实现,模型预训练仍然由 TensorFlow 完成,然后由 JavaScript 根据样本做精细调节。OpenAI 博客中的算法样例就是借助 JavaScript 实现完成的。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论