5. Ridge Regression岭回归
岭回归分析是一种用于存在多重共线性(自变量高度相关)数据的技术。在多重共线性情况下,尽管最小二乘法(OLS)对每个变量很公平,但它们的差异很大,使得观测值偏移并远离真实值。岭回归通过给回归估计上增加一个偏差度,来降低标准误差。
上面,我们看到了线性回归方程。还记得吗?它可以表示为:
Java
y=a+ b*x
这个方程也有一个误差项。完整的方程是:
Java
y=a+b*x+e (error term), [error term is the value needed to correct for a prediction error between the observed and predicted value]