3、 具体来说，它的工作原理是，Encoder将输入序列转化为固定长度的隐向量c，而Decoder则依赖于这些权重化的向量ci来预测输出，这在处理《Sequence to Sequence Learning》中的Seq2Seq模型时尤为关键。

1、 深度学习的概念由Hinton等人于2006年提出。 基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。 此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

2、 学习率(LearningRate，LR。 常用η表示。 )是一个超参数，考虑到损失梯度，它控制着我们在多大程度上调整网络的权重。 值越低，沿着向下的斜率就越慢。