32 深度学习框架下的神经网络 | 三重门：长短期记忆网络

根据问题看了一些中文文章，其中提到“LSTM可以根据上下文之间的关键信息，来推断后序文本当中出现的主体定义。让机器翻译更有可能处理较长的文本甚至整个故事。 LSTM可以帮助理解上下文这种人类特有的表达方式，当然也有助于AI学习从人类文本中梳理逻辑和脉络。而以此为契机反向生成有语境、有逻辑、有伏笔的新文本”。曾读到过AI写文章的新闻，不知道是不是利用到LSTM。 “上下文不仅是在文本当中才有。比如在视频当中，就也会出现前后故事联系的情况，甚至更复杂一点出现通过图像来进行的上下文联系。比如一件衣服穿在不同人物身上的意义；反复出现的关键道具；甚至天气对剧情的推动作用。 目前已经有通过LSTM变体技术来解读电视剧的实验。而更广阔的应用空间，是通过LSTM来对监控视频进行记忆推理。” 从这些文章片段看，机器推理借助LSTM是有实现的可能。我自己还未阅读过，或理解并记住具体实现这些应用的技术手段，有待考证。

极客时间 21天打卡行动 30/21 <<人工智能基础课32>> 长短期记忆网络 回答老师问题:长短期记忆网络的作用不仅在于做些阅读理解，它可以让人工智能理解事物之间的长序联系。那么长短期记忆网络会不会在训练机器的推理能力上带来突破呢？ 老师是不是想问:长短期记忆网络能不能在机器中加上物理条件呢?我是想可以的,那就能针对行业做细分了 今日所学 : 1,长短期记忆网络就是一类特殊的循环神经网络。这个词的断句方式是“长 - 短期记忆网络”，表达的含义是一类可以持续很长时间的短期记忆模型。 2,循环神经网络通过在时间上共享参数引入了记忆特性，从而将先前的信息应用在当前的任务上，可这种记忆通常只有有限的深度; 3,从机制上讲，要实现长期记忆，神经网络既要学会记忆，也要学会遗忘。 4,长期记忆要求模型具备对信息价值的判断能力，结合自身的状态确定哪些信息应该保留，而哪些信息应该舍弃; 5,长短期记忆单元还要能够将长期记忆聚焦成工作记忆，也就是哪一部分记忆需要立刻使用。 6,长短期记忆的基本单元的作用在需要时取出并聚焦记忆，通常包括四个功能不同的隐藏层：记忆模块（memory cell）、输入门（input gate）、输出门（output gate）和遗忘门（forget gate），这比只有一个激活函数的一般循环神经网络要复杂得多。 7,遗忘门的作用是弃旧，输入门的作用则是图新， 8,输出门输出权重系数的作用是对记忆模块的状态进行加权。但加权对象不是记忆状态本身，而是记忆状态的双曲正切函数结果。 9,长短期记忆网络应用:谷歌翻译; 重点: 1,长短期记忆网络可以实现任意长度的记忆，对信息进行长期而精确的跟踪； 2,长短期记忆单元的组成包括记忆模块、输入门、遗忘门和输出门； 3,长短期记忆网络根据当前的输入、当前的记忆和前一时刻的输出确定当前的输出； 4,长短期记忆网络能够解决梯度弥散的问题

学习打卡

加油

老师，文本里的 LaTeX 公式不能正常显示了