-
人工神经网络简史
-
第一波浪潮
- 1943年McCulloch和Pitts提出McCulloch-Pitts神经元模型
- 1958年Rosenblatt提出了简单的单层神经网络，现在被称为感知机模型
- 1969年Minsky和Papert所做的书Perceptrons论证了单层感知机的局限性，整个领域几乎进入了冬眠期
-
第二波浪潮
- 1986年对于多层感知机的反向传播学习算法被提出，整个领域再次起飞
-
第三波浪潮
- 2006年深度神经网络学习变得流行
- 2012年在许多应用中都取得了总打突破
-
-
人工神经 络
- McCulloch-Pitts神经元模型：建模为输入与权重乘积的累加，输出为0或1
- Rosenblatt的单层感知机模型
- 感知机作为第一个在数据指导下进行学习的模型（监督学习）
- 专注在如何找到合适的用于二分类任务的权重
- 给出了学习算法并且证明了收敛性
- 缺点：不能解决异或操作（Minsky和Papert指出）
- 多层感知机模型（隐藏层和反向传播）
- 添加了隐藏层和反向传播机制
- 前馈：消息从输入节点出发，经过隐藏节点到输出节点
- 非线性激活函数：Sigmoid、Tanh、ReLU（Rectified Linear Unit）