1.介绍
sklearn.ensemble模块包含了很流行的boosting算法：AdaBoost.
AdaBoost的核心思想是：通过在重复修改过版本的数据上拟合一系列弱分类器（这些模型比随机猜测强，比如：小的决策树）。所有这些模型上的预测，会通过一个加权多数投票（weighted majority vote）方式来产生最终的预测。每次boosting迭代中的数据更新，会将权重w1, w2, w3, .., wN应用到每个训练样本之上。初始化时，这些权重都被置为wi=1/N，每一步都简单地在原始数据上训练一个弱分类器。对于每个后继的迭代，样本权重都各自进行更新，该学习算法会重新使用这些数据并重新进行赋权(reweight)。对于一个结定的step，通过boost模型预测错误的训练样本，在下一step上会进行加权，而预测正确的则会进行降权。随着迭代的进行，很难预测的样本将接受到不断调整。每一步的弱分类器因此会关注于解决那些在上一步错过的样本。
AdaBoost可以同时被用在分类和回归问题中。
- 对于多分类，AdaBoostClassifier实现了AdaBoost-SAMME和 AdaBoost-SAMME.R算法
- 对于回归，AdaBoostRegressor 实现了AdaBoost.R2算法
2.用法
下例展示了如何通过100个弱学习器（weak learners）拟合一个AdaBoost分类器：
>>> from sklearn.cross_validation import cross_val_score
>>> from sklearn.datasets import load_iris
>>> from sklearn.ensemble import AdaBoostClassifier
>>> iris = load_iris()
>>> clf = AdaBoostClassifier(n_estimators=100)
>>> scores = cross_val_score(clf, iris.data, iris.target)
>>> scores.mean()
0.9...弱学习器的个数，通过参数n_estimators来控制。learning_rate参数控制着在最终聚合时弱学习器的贡献。缺省情况下，弱学习器都是单层决策树（decesion stumps）。不同的弱学习器类型可以通过base_estimator参数来指定。想要获得理想的结果，需要调整最主要的参数是，n_estimators以及base estimator的复杂度（比如：在决策树下：深度：max_depth，或者 所需要的最小样本个数：min_samples_leaf）
示例：
- Discrete versus Real AdaBoost
- Multi-class AdaBoosted Decision Trees
- Two-class AdaBoost
- Decision Tree Regression with AdaBoost
参考：