DeepMind提出关系RNN：构建关系推理模块
极客时间编辑部
讲述：杜力大小：882.28K时长：01:53
近日，DeepMind 和伦敦大学学院共同提出了关系推理模块 RMC（Relational Memory Core），能够在序列信息中执行关系推理。
据了解，基于记忆的神经网络能够利用记忆信息的能力来构建时序数据。然而，目前还不清楚它们是否有能力利用它们记忆信息的能力，进行复杂的关系推理。
对此，DeepMind 和伦敦大学学院的研究人员提出了一个想法，就是标准的记忆架构在涉及关系推理的任务时会很困难，这个想法得到了证实。在这之后，研究者通过使用一个新的记忆模块 RMC（Relational Memory Core）来改进这种缺陷。
他们在一系列的任务上对 RMC 进行测试，这些任务可以从跨序列信息的更强大的关系推理中获益，并且在 RL 领域（例如 Mini PacMan）、程序评估和语言建模中获得巨大的收益。另外，在 WikiText-103、Project Gutenberg 和 GigaWord 数据集上都达到了最佳的性能。
一直以来，人类都是使用复杂的记忆系统来访问和推理重要的信息。在神经网络研究中，许多成功的序列数据建模方法也使用了记忆系统（memory systems），例如 LSTM 和记忆增强的神经网络（memory-augmented neural networks）。通过增强记忆容量、随时间的有限计算成本以及处理梯度消失的能力，这些网络学会了跨时间将事件关联起来，以便熟练地存储和检索这些信息。
在这里，研究人员提出了建议，在考虑存储和检索的同时要考虑记忆交互，这是很有成效的。虽然，目前的模型可以学习划分和关联分布式的、矢量化的记忆，但是它们并不倾向于这样做。
通过一系列测试，结果显示，记忆交互的显式建模可以提高强化学习任务，以及程序评估、比较推理和语言建模的性能，这表明在递归神经网络中，加入关系推理能力是很有价值的。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论