1.简述

2. RNN

rnn,Recurrent Neural Network,循环神经网络。

在rnn中，神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出。

适用场景：自然语言处理、语音识别、手写体识别等。因为样本出现的时间顺序对于这三种应用非常重要。

3.LTSM

LSTM,Long-Short Term Memory，长短期记忆(模型)。
根据深度学习三大牛的阐述，LSTM网络已被证明比传统的RNNs更加有效。
原生的RNN会遇到一个很大的问题，叫做 The vanishing gradient problem for RNNs，也就是后面时间的节点对于前面时间的节点感知力下降，也就是忘事儿。解决这个问题用到的就叫LSTM。
一个Cell由三个Gate（input、forget、output）和一个cell单元组成。

4.CNN

cnn,Convolutional Neural Network,卷积神经网络。
下层神经元和所有上层神经元都能够形成连接，带来的潜在问题是参数数量的膨胀。
对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。同一个卷积核在所有图像内是共享的，图像通过卷积操作后仍然保留原先的位置关系。
适用场景：计算机视觉问题。