梯度更新方式 批量梯度下降：根据整个批量数据的梯度更新参数 随机梯度下降：根据一个随机数据来更新参数 优：更快的更新参数 缺：不确定性或震荡 小批量梯度下降 批量梯度下降和随机梯度下降的结合 步骤 将训练集分成k个小批量 对每个小批量用批量下降来降低 对每个小批量更新参数 容易做并行化 基本搜索步骤 随机选择参数初始化 根据数据和梯度算法来更新参数 直到走到局部一个最小区域 凸优化目标函数具有唯一最小点