结构调整

A-深度学习/A-深度学习基础.md

@@ -3,52 +3,52 @@
 
 相关专题
 ---
-- [《深度学习》整理](./“花书”《深度学习》整理.md)
-- [CNN 专题](./DL-B-专题-CNN.md)
-- [RNN 专题](./DL-B-专题-RNN.md)
-- [优化算法专题](./Base-A-专题-优化算法.md)
-  - **随机梯度下降**
-  - **动量**（Momentum）算法
-  - **自适应学习率**算法
-  - 基于**二阶梯度**的优化算法
+- [《深度学习》整理](./《深度学习》整理)
+- [CNN 专题](./B-专题-CNN)
+- [RNN 专题](./B-专题-RNN)
+- [优化算法专题](./C-专题-优化算法)
+    - **随机梯度下降**
+    - **动量**算法
+    - **自适应学习率**算法
+    - 基于**二阶梯度**的优化算法
 
 Index
 ---
 <!-- TOC -->
 
 - [过拟合与欠拟合](#过拟合与欠拟合)
-  - [降低过拟合风险的方法](#降低过拟合风险的方法)
-  - [降低欠拟合风险的方法](#降低欠拟合风险的方法)
+    - [降低过拟合风险的方法](#降低过拟合风险的方法)
+    - [降低欠拟合风险的方法](#降低欠拟合风险的方法)
 - [反向传播算法](#反向传播算法)
-  - [反向传播的作用/目的/本质](#反向传播的作用目的本质)
-  - [反向传播的公式推导](#反向传播的公式推导)
+    - [反向传播的作用/目的/本质](#反向传播的作用目的本质)
+    - [反向传播的公式推导](#反向传播的公式推导)
 - [激活函数](#激活函数)
-  - [激活函数的作用——为什么要使用非线性激活函数？](#激活函数的作用为什么要使用非线性激活函数)
-  - [常见的激活函数](#常见的激活函数)
-    - [整流线性单元 `ReLU`](#整流线性单元-relu)
-      - [`ReLU` 的拓展](#relu-的拓展)
-    - [`sigmoid` 与 `tanh`](#sigmoid-与-tanh)
-    - [其他激活函数](#其他激活函数)
-  - [`ReLU` 相比 `sigmoid` 的优势 (3)](#relu-相比-sigmoid-的优势-3)
+    - [激活函数的作用——为什么要使用非线性激活函数？](#激活函数的作用为什么要使用非线性激活函数)
+    - [常见的激活函数](#常见的激活函数)
+        - [整流线性单元 `ReLU`](#整流线性单元-relu)
+            - [`ReLU` 的拓展](#relu-的拓展)
+        - [`sigmoid` 与 `tanh`](#sigmoid-与-tanh)
+        - [其他激活函数](#其他激活函数)
+    - [`ReLU` 相比 `sigmoid` 的优势 (3)](#relu-相比-sigmoid-的优势-3)
 - [正则化](#正则化)
-  - [Batch Normalization（批标准化）](#batch-normalization批标准化)
-    - [动机](#动机)
-    - [基本原理](#基本原理)
-    - [BN 在训练和测试时分别是怎么做的？](#bn-在训练和测试时分别是怎么做的)
-      - [为什么训练时不采用移动平均？](#为什么训练时不采用移动平均)
-    - [相关阅读](#相关阅读)
-  - [L1/L2 范数正则化](#l1l2-范数正则化)
-    - [L1/L2 范数的作用、异同](#l1l2-范数的作用异同)
-    - [为什么 L1 和 L2 正则化可以防止过拟合？](#为什么-l1-和-l2-正则化可以防止过拟合)
-    - [为什么 L1 正则化可以产生稀疏权值，而 L2 不会？](#为什么-l1-正则化可以产生稀疏权值而-l2-不会)
-  - [Dropout](#dropout)
-    - [Bagging 集成方法](#bagging-集成方法)
-    - [Dropout 策略](#dropout-策略)
-      - [Dropout 与 Bagging 的不同](#dropout-与-bagging-的不同)
+    - [Batch Normalization（批标准化）](#batch-normalization批标准化)
+        - [动机](#动机)
+        - [基本原理](#基本原理)
+        - [BN 在训练和测试时分别是怎么做的？](#bn-在训练和测试时分别是怎么做的)
+            - [为什么训练时不采用移动平均？](#为什么训练时不采用移动平均)
+        - [相关阅读](#相关阅读)
+    - [L1/L2 范数正则化](#l1l2-范数正则化)
+        - [L1/L2 范数的作用、异同](#l1l2-范数的作用异同)
+        - [为什么 L1 和 L2 正则化可以防止过拟合？](#为什么-l1-和-l2-正则化可以防止过拟合)
+        - [为什么 L1 正则化可以产生稀疏权值，而 L2 不会？](#为什么-l1-正则化可以产生稀疏权值而-l2-不会)
+    - [Dropout](#dropout)
+        - [Bagging 集成方法](#bagging-集成方法)
+        - [Dropout 策略](#dropout-策略)
+            - [Dropout 与 Bagging 的不同](#dropout-与-bagging-的不同)
 - [深度学习实践](#深度学习实践)
-  - [参数初始化](#参数初始化)
+    - [参数初始化](#参数初始化)
 - [CNN 卷积神经网络](#cnn-卷积神经网络)
-  - [CNN 与 LSTM 的区别](#cnn-与-lstm-的区别)
+    - [CNN 与 LSTM 的区别](#cnn-与-lstm-的区别)
 
 <!-- /TOC -->
 

A-深度学习/A-深度学习实践.md

@@ -3,7 +3,33 @@
 
 Index
 ---
+<!-- TOC -->
 
+- [加速训练的方法](#加速训练的方法)
+    - [内部方法](#内部方法)
+    - [外部方法](#外部方法)
 
-## 双线性池化（Bilinear pooling）
-- 双线性池化是一种特征融合方法
+<!-- /TOC -->
+
+## 加速训练的方法
+
+### 内部方法
+
+- 网络结构
+    - 比如 CNN 与 RNN，前者更适合并行架构
+- 优化算法的改进：动量、自适应学习率
+    > [./专题-优化算法](./C-专题-优化算法)
+- 减少参数规模
+    - 比如使用 GRU 代替 LSTM
+- 参数初始化
+    - Batch Normalization
+
+
+### 外部方法
+> [深度学习训练加速方法](https://blog.csdn.net/xuqiaobo/article/details/60769330) - CSDN博客 
+- GPU 加速
+- 数据并行
+- 模型并行
+- 混合数据并行与模型并行
+- CPU 集群
+- GPU 集群