公号：码农充电站pro

主页：https://codeshellme.github.io

本篇文章来介绍随机森林（RandomForest）算法。

1，集成算法之 bagging 算法

在前边的文章《AdaBoost 算法-分析波士顿房价数据集》中，我们介绍过集成算法。集成算法中有一类算法叫做 bagging 算法。

bagging 算法是将一个原始数据集随机抽样成 N 个新的数据集。然后将这 N 个新的数据集作用于同一个机器学习算法，从而得到 N 个模型，最终集成一个综合模型。

在对新的数据进行预测时，需要经过这 N 个模型（每个模型互不依赖干扰）的预测（投票），最终综合 N 个投票结果，来形成最后的预测结果。

bagging 算法的流程可用下图来表示：

2，随机森林算法

随机森林算法是 bagging 算法中比较出名的一种。

随机森林算法由多个决策树分类器组成，每一个子分类器都是一棵 CART 分类回归树，所以随机森林既可以做分类，又可以做回归。

当随机森林算法处理分类问题的时候，分类的最终结果是由所有的子分类器投票而成，投票最多的那个结果就是最终的分类结果。

当随机森林算法处理回归问题的时候，最终的结果是每棵 CART 树的回归结果的平均值。

3，随机森林算法的实现

sklearn 库即实现了随机森林分类树，又实现了随机森林回归树：

RandomForestClassifier 类的原型如下：

RandomForestClassifier(n_estimators=100, 
  criterion='gini', max_depth=None, 
  min_samples_split=2, min_samples_leaf=1, 
  min_weight_fraction_leaf=0.0, 
  max_features='auto', max_leaf_nodes=None, 
  min_impurity_decrease=0.0, 
  min_impurity_split=None, 
  bootstrap=True, oob_score=False, 
  n_jobs=None, random_state=None, 
  verbose=0, warm_start=False, 
  class_weight=None, ccp_alpha=0.0, 
  max_samples=None)

可以看到分类树的参数特别多，我们来介绍几个重要的参数：

  • n_estimators：随机森林中决策树的个数，默认为 100。
  • criterion：随机森林中决策树的算法，可选的有两种：
    • gini：基尼系数，也就是 CART 算法，为默认值。
    • entropy：信息熵，也就是 ID3 算法。
  • max_depth：决策树的最大深度。

RandomForestRegressor 类的原型如下：

RandomForestRegressor(n_estimators=100, 
  criterion='mse', max_depth=None, 
  min_samples_split=2, min_samples_leaf=1, 
  min_weight_fraction_leaf=0.0, 
  max_features='auto', max_leaf_nodes=None, 
  min_impurity_decrease=0.0, 
  min_impurity_split=None, 
  bootstrap=True, oob_score=False, 
  n_jobs=None, random_state=None, 
  verbose=0, warm_start=False, 
  ccp_alpha=0.0, max_samples=None)

回归树中的参数与分类树中的参数基本相同，但 criterion 参数的取值不同。

在回归树中，criterion 参数有下面两种取值：

  • mse：表示均方误差算法，为默认值。
  • mae：表示平均误差算法。

4，随机森林算法的使用

下面使用随机森林分类树来处理鸢尾花数据集，该数据集在《决策树算法-实战篇》中介绍过，这里不再介绍，我们直接使用它。

首先加载数据集：

from sklearn.datasets import load_iris

iris = load_iris()   	# 准备数据集
features = iris.data	# 获取特征集
labels = iris.target    # 获取目标集

将数据分成训练集和测试集：

from sklearn.model_selection import train_test_split

train_features, test_features, train_labels, test_labels = 
	train_test_split(features, labels, test_size=0.33, random_state=0)

接下来构造随机森林分类树：

from sklearn.ensemble import RandomForestClassifier

# 这里均使用默认参数
rfc = RandomForestClassifier()

# 训练模型
rfc.fit(train_features, train_labels)

estimators_ 属性中存储了训练出来的所有的子分类器，来看下子分类器的个数：

>>> len(rfc.estimators_)
100

预测数据：

test_predict = rfc.predict(test_features)

测试准确率：

>>> from sklearn.metrics import accuracy_score
>>> accuracy_score(test_labels, test_predict)
0.96

5，模型参数调优

在机器学习算法模型中，一般都有很多参数，每个参数都有不同的取值。如何才能让模型达到最好的效果呢？这就需要参数调优。

sklearn 库中有一个 GridSearchCV 类，可以帮助我们进行参数调优。

我们只要告诉它想要调优的参数有哪些，以及参数的取值范围，它就会把所有的情况都跑一遍，然后告诉我们参数的最优取值。

先来看下 GridSearchCV 类的原型：

GridSearchCV(estimator, 
  param_grid, scoring=None,
  n_jobs=None, refit=True, 
  cv=None, verbose=0, 
  pre_dispatch='2*n_jobs', 
  error_score=nan, 
  return_train_score=False)

其中有几个重要的参数：

  • estimator：表示为哪种机器学习算法进行调优，比如随机森林，决策树，SVM 等。
  • param_grid：要优化的参数及取值，输入的形式是字典或列表。
  • scoring：准确度的评价标准。
  • cv：交叉验证的折数，默认是三折交叉验证。

下面我们对随机森林分类树进行参数调优，还是使用鸢尾花数据集。

首先载入数据：

from sklearn.datasets import load_iris

iris = load_iris()

构造分类树：

from sklearn.ensemble import RandomForestClassifier

rfc = RandomForestClassifier()

如果我们要对分类树的 n_estimators 参数进行调优，调优的范围是 [1, 10]，则准备变量：

param = {"n_estimators": range(1,11)}

创建 GridSearchCV 对象，并调优：

from sklearn.model_selection import GridSearchCV

gs = GridSearchCV(estimator=rfc, param_grid=param)

# 对iris数据集进行分类
gs.fit(iris.data, iris.target)

输出最优准确率和最优参数：

>>> gs.best_score_
0.9666666666666668
>>> gs.best_params_
{'n_estimators': 7}

可以看到，最优的结果是 n_estimators 取 7，也就是随机森林的子决策树的个数是 7 时，随机森林的准确度最高，为 0.9667。

6，总结

本篇文章主要介绍了随机森林算法的原理及应用，并展示了如何使用 GridSearchCV 进行参数调优。

（本节完。）

推荐阅读：

AdaBoost 算法-分析波士顿房价数据集

决策树算法-实战篇-鸢尾花及波士顿房价预测

EM 算法-对鸢尾花数据进行聚类

Apriori 算法-如何进行关联规则挖掘

Logistic 回归-原理及应用

欢迎关注作者公众号，获取更多技术干货。

码农充电站pro