一 定义：回归分析（Regression Analysis）是一种统计学上的分析数据的方法，目的在于了解两个或多个变量之间是否相关以及相关方向与强度，并建立数学模型以便观察特定的自变量与需要预测的因变量之间的关系。具体的说，回归分析可以帮助了解在一个或多个自变量变化时因变量的变化量。

二 回归问题的分析方法：1）收集数据；2）建立一个适合相关问题的回归函数；3）通过学习已有的数据，对函数的未知参数进行估计；3）回归方程及回归系数的显著性检验；4）利用这个模型去预测/分类新的数据。

三 回归分析的原理：目的是为了找出一个最能够代表所有观测资料的函数，用这个函数来表示因变量与自变量的关系。回归的基本模型一般可以表示为：Y=f(X ,u)，其中Y为因变量，X为自变量，u为未知参数。

四 回归分析方法分类：根据用途可以有多种分类，单变量的线性回归模型，多变量的线性回归模型，广义线性回归模型，概率单位回归模型，逻辑回归模型，曲线回归模型，岭回归模型，主成分回归模型等。

五 回归分析算法背景：

回归分析核心思想是采用最小二乘法原理来求解回归系数，最小二乘法思想背景：1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯计算了谷神星的轨道并进行了分析。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。

六 参考资料：

· 中央大学数学系教材-最小二乘法

· 最小二乘法 - 维基百科，自由的百科全书

· http://www.physics.csbsju.edu/stats/least_squares.html

· http://www.orbitals.com/self/least/least.htm

· PlanetMath上最小二乘法

· 马克威分析系统使用教程——http：//www.tenly.com