2019/12/28
《No.27: p205-p209》《增强型分析-AI驱动的数据分析、业务决策与案例实践》读书笔记
第7章 深入探讨RNN
  7.2.3 LSTM的神经元及计算逻辑
   1.LSTM(Long Short-Term Memory)，神经网络算法是RNN一个非常重要的变种。
   2.通过改造神经元的结构，使得状态的存储可以兼顾到较长的上下文。
   3.序列中每个元素同时作为输入提供给3个gate接口和一个常规输入接口。
  7.2.4 GRU的神经元与计算逻辑
   1.GRU(Gated Recurrent Unit)是在LSTM的基础上做了简化，将LSTM的3个gate变为只有update和rest gate两个gate。
   2.不再保留内部的状态存储单元，将输出也看作状态。
  7.2.5 深度RNN的原理
   1.将RNN神经元串联起来，构成深度RNN算法。
   2.RNN算法耗费大量时间，实际使用时，通常从简单的算法结构开始。
  7.2.6 RNN算法的输入输出形式
   1.类似Keras的算法包中提供了”return_sequences”的参数设置，用于控制LSTM返回的形式。
   2.实际使用时的输出型式
    1)one to one: 输入图像数据向量、输出图像类别的分类
    2)one to many: 用于生成图片文本描述的情况，即图像信息一次输入，而图像描述信息则通过序列的形式逐步计算而来。
    3)many to one: 将rreturn_sequences设置为false，在序列的最后才输出结果。如文本分类、情感分析等。
    4)异步many to many: 常见于不同事务之间的转换，如输入汉字翻译出英文
    5)同步many to many: 很常见的用法，基于时间序列的预测都是属于这种。