Skip to content

Latest commit

 

History

History
38 lines (21 loc) · 878 Bytes

76_假设ERM边界_课程笔记.md

File metadata and controls

38 lines (21 loc) · 878 Bytes

假设ERM边界

机器学习过程

  1. 选择超参数
  2. 对整个训练数据训练模型
  3. 用测试数据对模型进行测试

泛化能力

泛化能力是指模型对于为观测数据的预测能力

  • 可以通过泛化误差来评估
  • 在训练数据及上对于泛化能力的经验估计

泛化误差

泛化误差约束定理

引理:Hoeffding不等式

泛化误差约束定理证明

对无限假设空间

许多假设类,包括任何由实数参数化的假设类实际上都包含无数个函数

例如:线性模型、神经网络

量化实数

我们假设有一个H假设,有m个实数参数化

在计算机中,每个实数用64位表示(双浮点数),因此假设类实际上至多包含D = 2^(64m)种不同假设

样本复杂度

样本复杂度例子