集成学习/04. 随机森林.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**随机森林**（Random Forest，简称 RF）是 Bagging 的一个扩展变体，它是在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。传统决策树在选择划分属性时是在当前节点的属性集合中（假设有 $d$ 个属性）选择一个最优属性，而在 RF 中，会先从该节点的属性集合中随机选择 $k$ 个，再从这 $k$ 个属性中选择一个最优属性。推荐 $k = log_2d$。\n",
    "\n",
    "在 Bagging 算法中，我们通过对训练集的样本进行随机采样从而实现了基学习器的**多样性**，这被称为**样本扰动**；随机森林对其作了一点改进，在**样本扰动**的基础上，还加上了**属性扰动**，这样得到的基学习器更具多样性，最终集成的模型也具有更好的泛化性能。"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}