欢迎来到我们的数理统计学习笔记，今天我们将深入探讨备受青睐的最小二乘估计方法，尤其在线性模型中的应用。首先，让我们聚焦于Gauss-Markov模型，它是统计学中的重要基石：
线性模型中的核心公式：</
令 Y</ 为 n 维观测向量，X</ 是 p x n 级设计矩阵，β</ 是我们想要估计的 p 维参数，但 ε</ 为未知的随机误差，通常假设服从均值为零的正态分布。这种模型，记作 Y = Xβ + ε</，是众多统计分析的出发点。
最小二乘估计的定义：</
当我们有 E(ε|X) = 0</ 且 Var(ε|X) = σ²I</ 的假设时，如果存在向量 β^</ 满足 (X'X)β^ = X'Y</，则称 β^</ 为 β</ 的最小二乘估计，简称 LSE。
定理1：统计学的基石：</若 X'X</ 可逆，那么 β^</ 是 β</ 的无偏估计；当 X</ 是列满秩矩阵时，β^</ 的估计误差的协方差为 σ²(X'X)^(-1)</。
定理2：BLUE的威力：</在列满秩的 X</ 条件下，最小二乘估计是 β</ 的最好线性无偏估计（BLUE），意味着没有其他线性估计方法能提供更低的均方误差。
对于 β_0</ 的估计，我们通常需通过非线性方法，因为其量纲限制了直接的线性估计。于是，我们引入偏差平方和的概念，通过二次函数来逼近 β_0</，其无偏估计可通过特定公式得出。
定理3：完备充分统计量的角色：</在 Y = Xβ + ε</ 中，当特定假设成立时，β^</ 和 β_0^</ 分别是 β</ 和 β_0</ 的无偏估计，同时它们也是完备充分统计量的函数，从而达到最优无偏估计（UMVUE）。
加权最小二乘估计在条件不满足时，虽然不是BLUE，但仍然是 β</ 的线性无偏估计。在广义 Gauss-Markov 模型中，通过引入权重矩阵，我们可以得到加权整体最小二乘估计，这是在条件放宽后的最优线性无偏估计。
最后，尽管最小二乘估计在寻找参数估计时表现出色，但它并不涉及对样本本身的修正，因为样本本身包含了全部信息。这在逻辑上是明确的，我们无法通过修正样本来消除噪声。
证明环节：</ 证明 β^</ 是 β</ 的无偏估计，需要对 (X'X)^(-1)X'Y</ 进行细致的计算。通过矩阵运算，我们可以看到 β^</ 的无偏性，尤其是在 X</ 为列满秩矩阵时，其特征向量和特征值的性质保证了无偏估计的性质。