线性回归（最小二乘法）

1、作用

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，在线性回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

2、输入输出描述

输入:自变量 X 至少一项或以上的定量变量或二分类定类变量，因变量 Y 要求为定量变量（若为定类变量，请使用逻辑回归）。输出:模型检验优度的结果，自变量对因变量的线性关系等等

3、案例示例

示例：通过自变量（房子年龄、是否有电梯、楼层高度、房间平方）拟合预测因变量（房价）

4、案例数据

线性回归案例数据

5、案例操作

Step1：新建分析； Step2：上传数据； Step3：选择对应数据打开后进行预览，确认无误后点击开始分析；

step4：选择【线性回归】； step5：查看对应的数据数据格式，按要求输入【线性回归】数据; step6：点击【开始分析】，完成全部操作。

6、输出结果分析

输出结果 1：线性回归分析结果表

图表说明：从 F 检验的结果分析可以得到，显著性 P 值为 0.000，水平上呈现显著性, 拒绝回归系数为 0 的原假设，同时模型的拟合度 R2 为 0.91, 模型表现较为优秀，因此模型基本满足要求对于变量共线性表现，VIF 全部小于 10，因此模型没有多重共线性问题, 模型构建良好。

输出结果 2：拟合效果图

图表说明:上图展示了本次模型的原始数据图、模型拟合值、模型预测值。

输出结果 3：模型路径图

图表说明:上图以路径图形式展示了本次模型结果，主要包括模型的系数，用于分析X对于Y的影响关系情况。输出结果 4：模型结果预测

图表说明:上表格显示了线性回归模型的预测情况。

7、注意事项

线性回归都可以通过最小二乘法或梯度下降法求出其方程，SPSSPRO 这里采用最小二乘法，其计算结果与 spss 一致，但会与梯度下降法略微差异；线性回归如果有输入定类数据，那么要求该定类数据必须为二分类定类数据（哑变量化），因此 SPSSPRO 的输入变量 X2 中要求数据为定类数据，若数据不为二分类定类数据，SPSSPRO 会自动将其哑变量化

8、模型理论

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为 y = w'x+e，e 为误差服从均值为 0 的正态分布。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。一般来说，线性回归都可以通过最小二乘法或梯度下降法求出其方程，可以计算出对于 y=bx+a 的直线。以最小二乘法为例一般地，影响 y 的因素往往不止一个，假设有 x1，x2，...，xk，k 个因素，通常可考虑如下的线性关系式：

对 y 与 x1，x2，...，xk 同时作 n 次独立观察得 n 组观测值（xt1，xt2，...，xtk），t=1,2,...,n（n>k+1），它们满足关系式：

使用最小二乘法得到的解

其中，

称为X的伪逆斜率 b 计算方法法 1：

法 2：把斜率 b 带入

截距 a

9、参考文献

[1] Scientific Platform Serving for Statistics Professional 2021. SPSSPRO. (Version 1.0.11)[Online Application Software]. Retrieved from https://www.spsspro.com. [2]Cohen, J., Cohen P., West, S.G., & Aiken, L.S. Applied multiple regression/correlation analysis for the behavioral sciences. Hillsdale, NJ: Lawrence Erlbaum Associates. 2003. [3]Draper, N.R. and Smith, H. Applied Regression Analysis. Wiley Series in Probability and Statistics. 1998. [4]孙荣恒．应用数理统计（第三版）．北京：科学出版社，2014：204-206 [5]alton, Francis. Regression Towards Mediocrity in Hereditary Stature (PDF). Journal of the Anthropological Institute. 1886, 15: 246–263