岭回归分析

1.1 算法摘要

岭回归是专门用于共线性数据的有偏估计回归方法。其实质是改良的最小二乘法，以放弃最小二乘的无偏性，损失部分信息，放弃部分精确度为代价来寻求效果稍差，但更符合实际的回归方程。

可应用的情况包括：数据点少于变量个数、所有变量之间有较强的线性相关性、变量之间的数据变化比较小、部分变量之间有线性相关等。

1.2 算法原理

岭回归为了避免最小二乘法中矩阵计算的行列式接近于零，而使得计算误差太大，所以在矩阵的主对角元素都加上一个K值，降低矩阵计算奇异的风险。矩阵可以表示为：

B(K)为回归方程组的最小平方解；它的值随着K的改变而改变，这个值就称为岭迹，我们可以根据岭迹图的平稳性确定K的取值。

所以岭回归主要在于参数K的选取；一般常用的参数选择方法包含以下四种类型：

1）利用方法Hoerl和Kennard（1970）：

2）利用方法Lawless和Wang（1975）：

3）利用方法Hoerl和Baldwin（1975）：

4）利用方法均方误差H(k)最小法：

K值选取的原则：尽可能小的k使得参数的估计值尽量稳定下来。

岭回归对参数的估计步骤可以简化为以下几点：

1）对原始模型的变换：；先对自变量X作中心化和表量化处理，引入新变量Z，令：

代入方程可变为：

最后转换得到参数的最小平方估计为：

2）确定合适的K值；

3）确定K值后，参数估计的表达式为：

岭回归是在自变量组成的信息矩阵的主对角线元素上人为的加入一个非负因子k，使得矩阵行列式不为零，以降低对回归系数估计的误差，提高估计精确度以及模型的平稳性。它是最小二乘法的补充，岭回归可以修复病态矩阵，达到较好的效果。

近年来，岭回归在经济、工业生产、工程技术、环境保护等方面已有一定的应用。

1马克威分析系统使用教程——http：//www.tenly.com

示例数据：财政收入影响因素分析问题。财政收入(Y)与国民收入(X1)、工业总产值(X2)、农业总产值(X3)、总人口(X4)、就业人口(X5)、固定资产投资(X6)等因素之间的关系。下表为1952年到1981年的原始数据。

1952-1981年财政收入、国民收入、工业总产值、

农业总产值、总人口、就业人口、固定资产投资数据情况

1）首先用普通的回归来建模，其系数的估计方法为最小二乘法；计算得到的回归方程为：

从上述回归方程的系数可以看出，该拟合方程失去了一定的经济意义。这是因为六个变量中只有第一个变量国民收入是正值，其余五个变量的系数均为负值，这明显不符合实际的经济情况。由经济规律可以看出：工业总产值的提高会增加国家的财政税收，因此工业总产值与财政收入应该呈正相关，同样对于农业来说，政府要对农业扶持和实行鼓励政策，当农业总产值升高，政府就会减少对农业的投入，财政收入亦应该提高，这样我们不得不怀疑常回归分析的正确性。

使用岭回归分析，首先要确定岭迹参数k的确定，下图为岭迹图，可以看出当k=0.1时，基本上所有的回归系数的估计值都能达到相对稳定状态。

所以，选定了岭迹参数k之后，计算得到最后的回归方程为：

从岭回归方程可以看出国民收入是影响财政收入的主要因素，其次是固定资产投资；同时工业总产值、农业总产值与财政收入呈现正相关关系，符合实际的经济规律。

输入变量类型：整型、浮点型

输入数据尺度：标量型

输出结果：得到岭回归的回归方程

最小二乘法、普通线性回归

优点：可对变量之间共线性比较严重或病态数据偏多的数据类型作回归分析，对这类数据作回归得到的回归系数更符合实际，更可靠。另外，岭回归能让估计参数的波动范围变小，变的更稳定。

缺点：对系数的估计时，会损失部分信息、降低精度。同时岭回归方程的R平方值会稍低于普通的回归方法。

https://www.zhihu.com/