33-Bagging and Random Forest.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "欲得到泛化能力强的集成学习，我们需要集成中的个体学习应尽量独立，但是在现实任务中无法做到，但是可以使各学习器差异尽可能的大"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Bagging："
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1.采用前面的自助采样的方法，我们可以采样出T个样本，那么也就可以训练T个学习器"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "2.通过自助采样的好处是，我们的原样本中大概还有36.8%的样本没有却道，那么我们就可以用这部分的样本当成验证数据集，那就是所谓的包外估计（oob）"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "随机森林："
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1.随机森林是baggig的一个拓展变体，是以决策树为基学习器构建的"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "2.传统的决策树在划分属性的时候是在当前点的集合中选择一个最优的属性进行划分，而在RF中，对于每个结点，先从该结点的属性集合中随机选取一个包含k个的\n",
    "属性的子集，然后再从这个子集中选择一个最优的进行划分，进一步增加了随机性"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "END"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}