复相关系数的深度解析与推导
在多元线性回归的世界里，当我们探讨有截距项的模型时，其核心概念——复相关系数，扮演着至关重要的角色。记β，在最小二乘估计存在且模型矩阵X列秩完备（即X'X可逆）的前提下，我们有
关键推导：当我们对每个变量进行中心化处理后，矩阵（X - mean(X))'依然保持列秩完整，这是其重要性质之一。在样本观测值中，复相关系数被定义为
ρ = ρ(X, Y) = corr(中心化(X), Y) / (σ_X * σ_Y)
值得注意的是，复相关系数的最大值与样本相关系数或样本协方差的优化问题密切相关。换句话说，寻找使ρ达到最大值的条件，等价于对Y的线性组合进行最优化。
进一步深入，由于实对称矩阵X'X的正定性，它具有正交的特征值分解，记为Q'DQ = X'X。此时，优化问题简化为寻找使ρ最大的向量u，即
maximize u'X'Xu subject to ||u||=1
利用Cauchy-Schwarz不等式，我们得知等号成立当且仅当u是X'X的特征向量。因此，这与回归系数β有着直接的联系，即ρ = β'β。
具体到有截距项的OLS回归，我们发现ρ与估计量β_0 + β'X的系数相关性一致。通过中心化处理，我们揭示了复相关系数与OLS估计值之间的深刻联系。
不仅如此，我们还能推导出多元线性回归的决定系数，即复相关系数的平方，它反映了模型解释变量变化对因变量变化影响的强度，被称作复决定系数。
让我们深入探讨一个具体的例子：记Z = X - mean(X)，由于Z'保持秩，我们有rank(Z') = rank(X')。由此，我们证明了ρ的定义与模型的秩相关性紧密相连。
总结来说，复相关系数不仅是多元线性回归的灵魂，更是揭示变量间复杂关系的工具。通过一系列的数学推导，我们揭示了这个概念背后的深刻内涵，使得我们对回归分析的理解更加透彻。