曲线回归分析

一定义：回归分析（Regression Analysis）是一种统计学上的分析数据的方法，目的在于了解两个或多个变量之间是否相关以及相关方向与强度，并建立数学模型以便观察特定的自变量与需要预测的因变量之间的关系。具体的说，回归分析可以帮助了解在一个或多个自变量变化时因变量的变化量。

二回归问题的分析方法：1）收集数据；2）建立一个适合相关问题的回归函数；3）通过学习已有的数据，对函数的未知参数进行估计；3）回归方程及回归系数的显著性检验；4）利用这个模型去预测/分类新的数据。

三回归分析的原理：目的是为了找出一个最能够代表所有观测资料的函数，用这个函数来表示因变量与自变量的关系。回归的基本模型一般可以表示为：Y=f(X ,u)，其中Y为因变量，X为自变量，u为未知参数。

四回归分析方法分类：根据用途可以有多种分类，单变量的线性回归模型，多变量的线性回归模型，广义线性回归模型，概率单位回归模型，逻辑回归模型，曲线回归模型，岭回归模型，主成分回归模型等。

五回归分析算法背景：

回归分析核心思想是采用最小二乘法原理来求解回归系数，最小二乘法思想背景：1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯计算了谷神星的轨道并进行了分析。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。

六参考资料：

· 中央大学数学系教材-最小二乘法

· 最小二乘法 - 维基百科，自由的百科全书

· http://www.physics.csbsju.edu/stats/least_squares.html

· http://www.orbitals.com/self/least/least.htm

· PlanetMath上最小二乘法

· 马克威分析系统使用教程——http：//www.tenly.com

线性回归具有一定的局限性，因为现实中的问题很多属于非线性的关系，要求解这类问题，可以将非线性回归模型转化为线性模型求解。非线性模型的类型有很多种，一般常用的有：抛物线函数、双曲线函数、幂函数、指数函数、对数函数以及多项式方程。常用的非线性方程表达式一般为：

、Y=a+b*(1/X)、Y=a+X1b1+X2b2+…..+Xkbk、Y=abx、Y=a+bln(X)、Y=a+bZ,其中Z=1/X或者Z=lnX。

将非线性模型转换为线性模型求解，首先要选择适当的非线性回归方程，这个过程可以通过散点图来研究，具体的回归方程为：Y=f(x;a,b)，其中a,b分别为回归方程的未知参数。为了求解未知参数的估计值，往往可以先通过变量置换，把非线性回归化为线性回归，再利用线性回归的方法确定参数及b的估计值。下面列举几个常用的曲线模型的变换方式：

曲线方程	变换公式	变换结果
	X=1/x;	Y=1/y
Y=a+bx		X=lnx
;	Y=lny	Y=a’+bX
(a’=lnx)	y=a+blnx	X=lnx
;	Y=y	Y=a+bX
	X=x;	Y=lny
Y=a’+bX	(a’=lnx)
X=1/x;	Y=lny	Y=a’+bX