前言

大家都知道，我们在小学初中阶段学过一种工具，叫螺旋测微器。我们在测一个物品的距离时，可以按0后面的小数位依次调参数。

机器学习中的调参也类似。

如何调参？

参数说明，详见api。那么在具体的实例中，我们最关心的，应该是如何去进行调参呢？在参考2中，提到了一个示例，展示了如何去处理真实情况下的问题：

数据集

处理step如下：

第一步：特征加工

1.drop掉City列，原因：太多类别
2.将DOB转为Age；drop掉DOB
3.创建EMI_Loan_Submitted_Missing，如果EMI_Loan_Submitted缺失，为1，否则为0；dop掉EMI_Loan_Submitted
4.drop掉EmployerName，原因：太多类别
5.Existing_EMI使用中值0进行计算，原因：111个值缺失
6.创建Interest_Rate_Missing变量，如果Interest_Rate缺失为1，否则为0；drop掉Interest_Rate
7.drop掉Lead_Creation_Date，原因：对结果影响小
8.Loan_Amount_Applied使用均值
9.Loan_Amount_Submitted_Missing…
10.Loan_Tenure_Submitted_Missing…
11.drop掉LoggedIn, Salary_Account
12.Processing_Fee_Missing。。。
13.Source：保留top2
14.执行Numerical和One-Hot-Coding编码

第二步：创建baseline model

使用缺省参数的GradientBoostingClassifier(random_state=10) 作为baseline。得到baseline的AUC。

建一个交叉验证的函数：

def modelfit(alg, dtrain, predictors, performCV=True, printFeatureImportance=True, cv_folds=5):
    #Fit the algorithm on the data
    alg.fit(dtrain[predictors], dtrain['Disbursed'])
        
    #Predict training set:
    dtrain_predictions = alg.predict(dtrain[predictors])
    dtrain_predprob = alg.predict_proba(dtrain[predictors])[:,1]
    
    #Perform cross-validation:
    if performCV:
        cv_score = cross_validation.cross_val_score(alg, dtrain[predictors], dtrain['Disbursed'], cv=cv_folds, scoring='roc_auc')
    
    #Print model report:
    print "\nModel Report"
    print "Accuracy : %.4g" % metrics.accuracy_score(dtrain['Disbursed'].values, dtrain_predictions)
    print "AUC Score (Train): %f" % metrics.roc_auc_score(dtrain['Disbursed'], dtrain_predprob)
    
    if performCV:
        print "CV Score : Mean - %.7g | Std - %.7g | Min - %.7g | Max - %.7g" % (np.mean(cv_score),np.std(cv_score),np.min(cv_score),np.max(cv_score))
        
    #Print Feature Importance:
    if printFeatureImportance:
        feat_imp = pd.Series(alg.feature_importances_, predictors).sort_values(ascending=False)
        feat_imp.plot(kind='bar', title='Feature Importances')
        plt.ylabel('Feature Importance Score')

建一个baseline模型，通常，一个好的baseline可以用缺省参数的GBM模型来构建。

predictors = [x for x in train.columns if x not in [target, IDcol]]
gbm0 = GradientBoostingClassifier(random_state=10)
modelfit(gbm0, train, predictors)

结果：

第三步：参数调优

两种类型的参数：基于tree的参数、基于boosting的参数。

tree参数：min_samples_split、min_samples_leaf、min_weight_fraction_leaf、max_depth、max_leaf_nodes、max_features
boosting参数：learning_rate、n_estimators、subsample
杂项参数：loss、init、random_state、verbose、warm_start、presort

随着树的增加，GBM不会overfit，但如果learning_rate的值较大，会overfiting。如果减小learning_rate、并增加树的个数，在个人电脑上计算开销会很大。

记住：

1.选择一个相对高的learning_rate。缺省值为0.1，通常在0.05到0.2之间都应有效
2.根据这个learning_rate，去优化树的数目。这个范围在[40,70]之间。记住，选择可以让你的电脑计算相对较快的值。因为结合多种情况才能决定树的参数.
3.调整树参数，来决定learning_rate和树的数目。注意，我们可以选择不同的参数来定义树。
4.调低learning_rate，增加estimator的数目，来得到更健壮的模型

第3.1步调整树参数，来确定learning_rate和n_estimaters

为了确定boosting参数，先调置一些初始参数：

1.min_samples_split = 500：可以在~0.5-1%之间。考虑到倾斜类（imbalanced class），我们可以在这个范围内取个小值。
2.min_samples_leaf = 50：可以基于直觉进行选择。该参数用于防止overfitting，偏斜类不要使用小值。
3.max_depth = 8：基于target与predict的数目，选择（5-8）。有87行和49列，取8。
4.max_features = ‘sqrt’：根据经验法则，使用平方根.
5.subsample = 0.8：通常使用该值作为初始值

注意，所有上面的参数都是estimate的初始值，后面会进行调整。缺省的learning_rate为0.1，然后根据它来确定树的数目。出于该目的，我们可以使用GridSearch来确定[20,80]间的树数目，每个步长为10。

predictors = [x for x in train.columns if x not in [target, IDcol]]
param_test1 = {'n_estimators':range(20,81,10)}
gsearch1 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, min_samples_split=500,min_samples_leaf=50,max_depth=8,max_features='sqrt',subsample=0.8,random_state=10), 
param_grid = param_test1, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
gsearch1.fit(train[predictors],train[target])

输出结果：

gsearch1.grid_scores_, gsearch1.best_params_, gsearch1.best_score_

如下：

可以看到，对于learning_rate=0.1时，当n_estimators=60效果最佳。60只在这里合理，但并不意味着对所有case下都合理。其它情况：

如果值为20上下，你可以尝试更低的learning_rate（比如：0.05），重新运行GridSearch
如果值过高（接近100），尝试更高的learning_rate

基于tree的参数调节

1.调节max_depth 和 num_samples_split
2.调节min_samples_leaf
3.调节max_features

调节参数的次序必须注意。应首先调节对结果有较大影响的参数。例如，首先调整max_depth 和 min_samples_split，它们对结果影响更大。

注意：如果在本节中使用很笨重的GridSearch，将花费15-30分钟，或者更多的时间（取决于你的系统）。

首先，我们先调节max_depth值到(5,15),step=2；然后将min_samples_split设置到(200,1000),step=200。基于直觉。当然，你也可以使用更小的范围而执行更多的迭代。

param_test2 = {'max_depth':range(5,16,2), 'min_samples_split':range(200,1001,200)}
gsearch2 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60, max_features='sqrt', subsample=0.8, random_state=10), 
param_grid = param_test2, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
gsearch2.fit(train[predictors],train[target])
gsearch2.grid_scores_, gsearch2.best_params_, gsearch2.best_score_

如下：

运行完30对组合后，我们看到max_depth=9和min_samples_split=1000比较理想。注意：1000是我们的极限值。我们也可以尝试更高的值。

这里，我们取max_depth=9，而不再对min_samples_split取更高的值。这样做可能并不是最好的。这里我们仔细观察发现，max_depth=9 的值都挺好的。我们再测试min_samples_leaf，(30, 70), step=10：

param_test3 = {'min_samples_split':range(1000,2100,200), 'min_samples_leaf':range(30,71,10)}
gsearch3 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60,max_depth=9,max_features='sqrt', subsample=0.8, random_state=10), 
param_grid = param_test3, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
gsearch3.fit(train[predictors],train[target])
gsearch3.grid_scores_, gsearch3.best_params_, gsearch3.best_score_

我们得到最优值为：min_samples_split=1200，min_samples_leaf=60. 我们看到cv score提高到0.8396了。对模型进行fit查看feature的重要性。

modelfit(gsearch3.best_estimator_, train, predictors)

得到：

如果你比较下该模型与baseline模型的feature重要性，就会发现我们可以从一些变量中提取值。最早的模型中，在一些变量上得取了过多的重要性，而现在这个模型则更加分散。

接着，我们调节最后的树参数：max_features: (7,19), step=2.

param_test4 = {'max_features':range(7,20,2)}
gsearch4 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60,max_depth=9, min_samples_split=1200, min_samples_leaf=60, subsample=0.8, random_state=10),
param_grid = param_test4, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
gsearch4.fit(train[predictors],train[target])
gsearch4.grid_scores_, gsearch4.best_params_, gsearch4.best_score_

如下：

我们可以发现，最优的值为7, 刚好为feaatures数(50)的sqrt平方根。我们的初始值已经得到最佳了。当然，你可能希望尝试下更小的值，我们这里直接从7开始。最终的树参数为：

min_samples_split: 1200
min_samples_leaf: 60
max_depth: 9
max_features: 7

调节subsample，让你的模型有更小的learning_rate

接下去，我们再调节subsample值。采用了：0.6,0.7,0.75,0.8,0.85,0.9。

param_test5 = {'subsample':[0.6,0.7,0.75,0.8,0.85,0.9]}
gsearch5 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=60,max_depth=9,min_samples_split=1200, min_samples_leaf=60, subsample=0.8, random_state=10,max_features=7),
param_grid = param_test5, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
gsearch5.fit(train[predictors],train[target])
gsearch5.grid_scores_, gsearch5.best_params_, gsearch5.best_score_

结果为：

这里，我们发现0.85最佳。我们得到了所有的参数。现在，我们只需要合理调低learning_rate，并合理增加我们的estimators的数目。注意，这些树不一定时最优的解，但是一个很好的测试基准（benchmark）。

随着树的增加，执行CV以及寻找最优解的计算开销会越来越大。为了得到理想的模型效果，我们需要为设立私人的积分榜排名。这里就不做详解了。

接着，我们降低learning_rate到一半：0.05，并增加树的数目二倍到120.

predictors = [x for x in train.columns if x not in [target, IDcol]]
gbm_tuned_1 = GradientBoostingClassifier(learning_rate=0.05, n_estimators=120,max_depth=9, min_samples_split=1200,min_samples_leaf=60, subsample=0.85, random_state=10, max_features=7)
modelfit(gbm_tuned_1, train, predictors)

结果为：

得到的LB得分为：0.844139

接着我们将learning_rate降到0.01，并将树提升到600。

predictors = [x for x in train.columns if x not in [target, IDcol]]
gbm_tuned_2 = GradientBoostingClassifier(learning_rate=0.01, n_estimators=600,max_depth=9, min_samples_split=1200,min_samples_leaf=60, subsample=0.85, random_state=10, max_features=7)
modelfit(gbm_tuned_2, train, predictors)

得到结果为：

http://i0.wp.com/www.analyticsvidhya.com/wp-content/uploads/2016/02/9.-tuned-2.png

得到的LB得分为：0.848145

我们将learning_rate降到0.005，树的数目增加到1200棵。

predictors = [x for x in train.columns if x not in [target, IDcol]]
gbm_tuned_3 = GradientBoostingClassifier(learning_rate=0.005, n_estimators=1200,max_depth=9, min_samples_split=1200, min_samples_leaf=60, subsample=0.85, random_state=10, max_features=7,
warm_start=True)
modelfit(gbm_tuned_3, train, predictors, performCV=False)

得到结果为：

得分为：0.848112

我们看到，得分的降低很细微。再接着运行1500棵。

predictors = [x for x in train.columns if x not in [target, IDcol]]
gbm_tuned_4 = GradientBoostingClassifier(learning_rate=0.005, n_estimators=1500,max_depth=9, min_samples_split=1200, min_samples_leaf=60, subsample=0.85, random_state=10, max_features=7,
warm_start=True)
modelfit(gbm_tuned_4, train, predictors, performCV=False)

得到结果为：

LB得分为：0.848747

因此，我们可以很清楚地看到：从0.844提升到0.849已经是一个巨大的提升了。

GBM的另一个调参的hack是：warm_start。你可以使用它来增加每一步estimators的数目，并在运行过程中测试不同值。

参考：

1.http://scikit-learn.org/stable/modules/ensemble.html

2.http://www.analyticsvidhya.com/blog/2016/02/complete-guide-parameter-tuning-gradient-boosting-gbm-python/

3.http://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/