Skip to content

Latest commit

 

History

History
24 lines (23 loc) · 792 Bytes

30_循环神经网络_课程笔记.md

File metadata and controls

24 lines (23 loc) · 792 Bytes

循环神经网络

  • 从前馈神经网络到循环神经网络
    • 前馈神经网络一个有向无环图,无自连边
    • 循环神经网络有一条自连边,将隐层信息随着时间步往前传
  • RNN工作原理图
  • RNN的工作方式
  • RNN的反向传播学习
  • 不同的RNNs
    • 普通神经网络
    • 图片字幕文本生成
    • 文本分类、情感分析
    • 机器翻译、对话系统
    • 股价估算、视频帧分类
  • 使用案例
    • 语言模型
      • 词级甚至字符级语言模型
        • 基于以前的单词或字符,预测下一个
    • 机器翻译
      • 编码、解码RNN
        • 首先对输入句子进行编码
        • 然后将矢量解码成另一种语言的句子
  • RNN的问题
    • 无法很好地利用早期信息