深度学习--长短时记忆神经网络LSTM(ing)

参考
史上最详细循环神经网络讲解（RNN/LSTM/GRU）
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
Understanding LSTM Networks 最经典的一篇，那些文章基本都是解释这篇的，但是不容易看
大名鼎鼎的LSTM详解
 如何从RNN起步，一步一步通俗理解LSTM 有动图，非常好的一篇很推荐阅读

长短时记忆神经网络(Long Short-term Memory Networks,LSTM)是一种 RNN 特殊的类型，可以学习长期依赖信息。

为什么LSTM比普通RNN效果好？
这里牵扯到梯度消失和爆炸的问题，由于最基础版本的RNN每一时刻的隐藏状态都不仅由该时刻的输入决定，还取决于上一时刻的隐藏层的值，受梯度消失的影响，如果一个句子很长，到句子末尾时，它将记不住这个句子的开头的内容详细内容，

RNN什么信息都存下来，因为它没有选择性地更新隐藏状态的能力，而LSTM不一样，它会选择性的存储信息，它有门控装置可以选择遗忘不重要的信息，选择性地写入新的信息，控制隐藏状态的输出。
但是LSTM依然受到梯度消失的影响，不能彻底消除。

Input Gate：输入门，在每一时刻从输入层输入的信息会首先经过输入门，输入门的开关会决定这一时刻是否会有信息输入到Memory Cell。
Output Gate：输出门，每一时刻是否有信息从Memory Cell输出取决于这一道门。
Forget Gate：遗忘门，每一时刻Memory Cell里的值都会经历一个是否被遗忘的过程，就是由该门控制的，如果打卡，那么将会把Memory Cell里的值清除，也就是遗忘掉。
按照上图的顺序，信息在传递的顺序，是这样的：

先经过输入门，看是否有信息输入，再判断遗忘门是否选择遗忘Memory Cell里的信息，最后再经过输出门，判断是否将这一时刻的信息进行输出。

所有RNN都具有一种重复神经网络模块的链式的形式。在标准的RNN中，这个重复的模块只有一个非常简单的结构，例如一个tanh层。
激活函数最主要的作用就是突破线性约束，引入非线性能力，使神经网络能拟合复杂的函数关系。