下面讲的方法用于回归，通过对输入参数进行一些线性组合来预测target值。在数学表示中，预测值为 $\hat{y}$

$\hat{y}(w, x) = w_0 + w_1 x_1 + ... + w_p x_p$

该模型设计了一个向量 $w = (w_1, ..., w_p)$ 作为相关系数参数：coef_，w0作为参数：intercept_。

如果想执行线性模型的分类，可以详见：Logistic regression。

1.最小二乘法（Ordinary Least Squares）

在数理统计中，残差是指实际观察值与估计值（拟合值）之间的差。

LinearRegression使用回归系数： $w = (w_1,..., w_p)$ 对线性模型进行拟合，通过对数据集的观察值和预测值之间做残差平方和（RSS：residual sum of squares），进行最小化。数学表示为：

$\underset{w}{min\,} {|| X w - y||_2}^2$

LinearRegression采用fit方法对X,y进行拟合，最终得到的线性模型，将w存储在coef_属性上：

>>> from sklearn import linear_model
>>> clf = linear_model.LinearRegression()
>>> clf.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)

>>> clf.coef_
array([ 0.5,  0.5])

然后，对于最小二乘法的回归系数估计，依赖于模型term的独立性。当terms与设计矩阵X的列相关时，具有一个近似的线性依赖，设计矩阵将与奇异矩阵相接近，结果通过观察值发现产生了一个较大的variance，最小二乘估计（least-squares）变得对随机误差高度敏感。当被采集的数据设计时如果没有经验，就有可能发生多重共线性（Multicollinearity）的情况。

示例：

Linear Regression Example

最小二乘法的复杂度

最小二乘法使用了X矩阵分解的奇异值。如果X的size为(n, p) ，那么该方法的cost为 $O(n p^2)$ ，假设： $n \geq p$

2. 岭回归(Ridge Regression)

Ridge回归通过引入对回归系数size的一个惩罚项，解决了最小二乘法存在的一些问题。ridge回归系数的优化目标为：最小化带罚项的残差平方和。

$\underset{w}{min\,} {|| X w - y||_2}^2 + \alpha {||w||_2}^2}$

这里， $\alpha \geq 0$ 表示复杂度参数，它控制着收缩（shrinkage）的程度： $\alpha$ 越大，shrinkage程度越大，回归系数就越健壮（不容易产生多重共线性）。

上图的每种着色，表示coefficient vector中每个不同的feature，它们在正则化参数函数上进行展示。在相应path的终点，alpha趋向于0，相应的解趋向于普通的最小二乘法，coefficients参数具有强烈的波动。

和其它线性模型一样，Ridge的fit建模后，也会将回归系数存于coef_属性上：

>>> from sklearn import linear_model
>>> clf = linear_model.Ridge (alpha = .5)
>>> clf.fit ([[0, 0], [0, 0], [1, 1]], [0, .1, 1]) 
Ridge(alpha=0.5, copy_X=True, fit_intercept=True, max_iter=None,
      normalize=False, random_state=None, solver='auto', tol=0.001)
      
>>> clf.coef_
array([ 0.34545455,  0.34545455])

>>> clf.intercept_ 
0.13636...

示例：

2.1 Ridge复杂度

和普通最小二乘法的一样。

2.2 如何设置正则化参数？泛化交叉验证(GCV)

RidgeCV实现了岭回归，内置了对alpha参数的交叉验证。该对象与GridSearchCV工作机制类似，有一点不同的是，它缺省使用泛化交叉验证（GCV），一种留一交叉验证（leave-one-out cross-validation）的有效形式。

>>> from sklearn import linear_model
>>> clf = linear_model.RidgeCV(alphas=[0.1, 1.0, 10.0])
>>> clf.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1])       
RidgeCV(alphas=[0.1, 1.0, 10.0], cv=None, fit_intercept=True, scoring=None,
    normalize=False)
    
>>> clf.alpha_                                      
0.1

3.Lasso

Lasso是一种线性模型，用于估计稀疏的回归系数。在一些情况通常更喜欢使用更少的参数值，这样可以有效地降低变量的数目，使得解决方案独立。由于这个原因，Lasso和它的变种在压缩感知（compressed sensing）领域是基础。在特定条件下，它可以恢复非零权重的完整集合，详见。

数学上，它包含了一个使用 $\ell_1$ 作为正则项进行训练的线性模型。要最小化的目标函数为：

$\underset{w}{min\,} { \frac{1}{2n_{samples}} ||X w - y||_2 ^ 2 + \alpha ||w||_1}$

lasso估计的目标是最小化带罚项 $\alpha ||w||_1$ 的最小二乘，其中： $\alpha$ 为常数， $||w||_1$ 为参数向量的l1范数。

Lasso的实现使用了坐标下降法（coordinate descent）来拟合回归系数。另外最小角回归提供了另一种实现：

>>> from sklearn import linear_model
>>> clf = linear_model.Lasso(alpha = 0.1)
>>> clf.fit([[0, 0], [1, 1]], [0, 1])
Lasso(alpha=0.1, copy_X=True, fit_intercept=True, max_iter=1000,
   normalize=False, positive=False, precompute=False, random_state=None,
   selection='cyclic', tol=0.0001, warm_start=False)
   
>>> clf.predict([[1, 1]])
array([ 0.8])

对于低级别的任务，函数lasso_path很有效，它会使用所有可能值来计算回归系数。

示例：

注意：使用Lasso进行特征选择

Lasso回归产生稀疏的模型，它可以用于执行特征选择，详见L1-based feature selection

注意：随机稀疏化

对于特征选择（feature selection）或稀疏求解（sparse recovery），有兴趣的可以使用：Randomized sparse models.

3.1 设置正则化参数

alpha参数控制着要估计的回归系数的稀疏度（degree of sparsity）。

使用交叉验证

sklearn提供了一些交叉验证对象来设置Lasso的alpha参数：LassoCV 和 LassoLarsCV。其中LassoLarsCV基于最小角回归算法。

对于高维数据集可能存在许多共线的回归，LassoCV表现通常很好。然而，LassoLarsCV的优点是，可以开发更多与alpha参数的相关值，如果样本数与观察到的数目相比非常小，通常比LassoCV更快。

图：在每个fold上的最小二乘误差：坐标下降法（训练时间：0.35s）

图：在每个fold上的最小二乘误差：使用Lars（训练时间：0.17s）

基于模型选择的信息准则

另一种方法：LassoLarsIC使用AIC(Akaike information criterion)和BIC(Bayes Information criterion)。它在寻找alpha的最优值时计算量更小，只需要一次，而当使用k-fold交叉验证时需要k+1次。。。。

4.Elastic Net

ElasticNet是一个线性回归模型，同时使用L1和L2作为正则项。这种结合可以让你像Lasso那样从一个稀疏模型中学到少量非零权重，也能像Ridge模型那样仍然维持着正则化属性。我们使用l1_ratio参数来控制着L1和L2的凸结合。

当许多features彼此相关时，Elastic-net会很有用。Lasso则是从其中随机取一个，而elastic-net则选取所有的。

在Lasso和Ridge之间进行平衡的实际好处是，使得elastic-net可以继承Ridge在rotation上的稳定性。

目标函数如下：

$\underset{w}{min\,} { \frac{1}{2n_{samples}} ||X w - y||_2 ^ 2 + \alpha \rho ||w||_1 + \frac{\alpha(1-\rho)}{2} ||w||_2 ^ 2}$

ElasticNetCV可以通过交叉验证来设置alpha参数（ $\alpha$ ）和l1_ratio参数（ $\rho$ ）。

示例：

11.SGD

12. Perceptron

Perceptron是另一个简单的算法，适用于大规模learning（large scale learning）。缺省的：

它不需要一个learning rate.
它没有正则项(不需要penalized)
只在错误时，才更新模型

Perceptron的最后一个特性暗示着，它比使用hinge loss的SGD要略微快一些。它会导致模型更稀疏。

参考：

1.http://scikit-learn.org/stable/modules/linear_model.html