要理解R Square需要引入残差的概念,以一元回归分析为例,下面用图解释吧,文字多太累。
上图红色点是incoming自变量与Consuming因变量对应的散点图,蓝色线是回归方程线(最小二乘法得到);
这里红色点yi表示一个响应观测值点(共4个),蓝色点fi是响应观测值对应的回归曲线上的点,两个的差值就是残差,残差值共有4个;y bar是响应变量的平均值。
根据平方和分解公式
即:SS 总体=SS 回归 + SS 残差
用文字描述就是:观测值与平均值的差值平方和被残差平方和以及回归差值平方和之和解释。
那么R Square的公式是: R Square = 1 - SS残差/SS总体 或者 = SS回归/SS总体
当观测值都在回归线上,回归差值平方和100%地解释了总平方和,R Square=1
当回归线为平行于x轴(均值线与回归线重合),残差平方和100%地解释了总平方和,R Square=0
备注:
1. R square: Coefficient of Determination决定系数,只能为正值或0
2. R: Correlation
Coefficient相关系数,可为正值负值与0
3. 最小二乘法(least square)得到的回归方程代表着最小的残差平方和
一切一切都是数字的游戏,但蛮有意思的。