极客时间
21天打卡行动 30/21
<<人工智能基础课32>> 长短期记忆网络
回答老师问题:长短期记忆网络的作用不仅在于做些阅读理解，它可以让人工智能理解事物之间的长序联系。那么长短期记忆网络会不会在训练机器的推理能力上带来突破呢？
老师是不是想问:长短期记忆网络能不能在机器中加上物理条件呢?我是想可以的,那就能针对行业做细分了
今日所学 :
1,长短期记忆网络就是一类特殊的循环神经网络。这个词的断句方式是“长 - 短期记忆网络”，表达的含义是一类可以持续很长时间的短期记忆模型。
2,循环神经网络通过在时间上共享参数引入了记忆特性，从而将先前的信息应用在当前的任务上，可这种记忆通常只有有限的深度;
3,从机制上讲，要实现长期记忆，神经网络既要学会记忆，也要学会遗忘。
4,长期记忆要求模型具备对信息价值的判断能力，结合自身的状态确定哪些信息应该保留，而哪些信息应该舍弃;
5,长短期记忆单元还要能够将长期记忆聚焦成工作记忆，也就是哪一部分记忆需要立刻使用。
6,长短期记忆的基本单元的作用在需要时取出并聚焦记忆，通常包括四个功能不同的隐藏层：记忆模块（memory cell）、输入门（input gate）、输出门（output gate）和遗忘门（forget gate），这比只有一个激活函数的一般循环神经网络要复杂得多。
7,遗忘门的作用是弃旧，输入门的作用则是图新，
8,输出门输出权重系数的作用是对记忆模块的状态进行加权。但加权对象不是记忆状态本身，而是记忆状态的双曲正切函数结果。
9,长短期记忆网络应用:谷歌翻译;
重点:
1,长短期记忆网络可以实现任意长度的记忆，对信息进行长期而精确的跟踪；
2,长短期记忆单元的组成包括记忆模块、输入门、遗忘门和输出门；
3,长短期记忆网络根据当前的输入、当前的记忆和前一时刻的输出确定当前的输出；
4,长短期记忆网络能够解决梯度弥散的问题