假设ERM边界 机器学习过程 选择超参数 对整个训练数据训练模型 用测试数据对模型进行测试 泛化能力 泛化能力是指模型对于为观测数据的预测能力 可以通过泛化误差来评估 在训练数据及上对于泛化能力的经验估计 泛化误差 泛化误差约束定理 引理:Hoeffding不等式 泛化误差约束定理证明 对无限假设空间 许多假设类,包括任何由实数参数化的假设类实际上都包含无数个函数 例如:线性模型、神经网络 量化实数 我们假设有一个H假设,有m个实数参数化 在计算机中,每个实数用64位表示(双浮点数),因此假设类实际上至多包含D = 2^(64m)种不同假设 样本复杂度 样本复杂度例子