gbdt正则化

obananas · Nov 20, 2019 · 1b24d0d · 1b24d0d
1 parent 89b2aae
commit 1b24d0d
Show file tree

Hide file tree

Showing 2 changed files with 28 additions and 26 deletions.
diff --git a/.idea/workspace.xml b/.idea/workspace.xml
diff --git a/机器学习/集成学习/GBDT.md b/机器学习/集成学习/GBDT.md
@@ -72,10 +72,13 @@ Cart tree，但是都是回归树
 # feature属性会被重复多次使用么？
 会，同时因为特征会进行多次使用，特征用的越多，则该特征的重要性越大
 
-# 如何进行子采样的？
-每一棵树基于原始原本的一个子集进行训练
-- rf是有放回采样，gbdt是无放回采样
-- 特征子采样可以来控制模型整体的方差
+# gbdt如何进行正则化的？
+- 子采样
+    - 每一棵树基于原始原本的一个子集进行训练
+    - rf是有放回采样，gbdt是无放回采样
+    - 特征子采样可以来控制模型整体的方差
+- 利用Shrinkage收缩，控制每一棵子树的贡献度
+- 每棵Cart树的枝剪
 
 # 为什么集成算法大多使用树类模型作为基学习器？或者说，为什么集成学习可以在树类模型上取得成功？
 - 对数据的要求比较低，不需要强假设，不需要数据预处理，连续离散都可以，缺失值也能接受