xgboost 调参数

obananas · Nov 20, 2019 · 7de3286 · 7de3286
1 parent 8a4d15f
commit 7de3286
Show file tree

Hide file tree

Showing 3 changed files with 21 additions and 57 deletions.
diff --git a/.idea/workspace.xml b/.idea/workspace.xml
diff --git a/README.md b/README.md
@@ -242,6 +242,7 @@
     - [xgboost特征重要性是如何得到的](机器学习/集成学习/Xgboost.md#L164)
     - [XGBoost中如何对树进行剪枝](机器学习/集成学习/Xgboost.md#L164)
     - [XGBoost模型如果过拟合了怎么解决](机器学习/集成学习/Xgboost.md#L164)
+    - [xgboost如何调参数](机器学习/集成学习/Xgboost.md#L164)
 - FM/FFM
 - SVM
     - [简单介绍SVM](机器学习/支持向量机/支持向量机.md#L164)

diff --git a/机器学习/集成学习/Xgboost.md b/机器学习/集成学习/Xgboost.md
@@ -76,4 +76,10 @@ MAPE:![](https://tva1.sinaimg.cn/large/006y8mN6gy1g94mx7uyuej303f0170sj.jpg)
     - 增大叶子结点的权重
     - 增大惩罚系数
 - subsample的力度变大，降低异常点的影响
-- 减小learning rate，提高estimator
+- 减小learning rate，提高estimator
+
+# xgboost如何调参数？
+- 先确定learningrate和estimator
+- 再确定每棵树的基本信息，max_depth和 min_child_weight
+- 再确定全局信息：比如最小分裂增益，子采样参数，正则参数
+- 重新降低learningrate，得到最优解