【加权最小二乘法】一、概述
加权最小二乘法（Weighted Least Squares, WLS）是普通最小二乘法（OLS）的一种扩展方法，主要用于处理数据中存在异方差性（Heteroscedasticity）的情况。在实际应用中，由于观测值的误差项可能具有不同的方差，直接使用OLS可能会导致估计结果不准确或效率低下。加权最小二乘法通过为每个观测点赋予不同的权重，使得方差较大的观测点对回归结果的影响较小，从而提高模型的精度和稳定性。
二、基本原理
加权最小二乘法的核心思想是在最小化残差平方和时，引入权重因子，使不同观测点的误差项具有不同的贡献度。其数学表达式如下：
$$
\min_{\beta} \sum_{i=1}^{n} w_i (y_i - x_i^T \beta)^2
$$
其中：
- $ y_i $ 是第 $ i $ 个观测值；
- $ x_i $ 是第 $ i $ 个观测的自变量向量；
- $ \beta $ 是待估参数向量；
- $ w_i $ 是第 $ i $ 个观测点的权重。
通常，权重 $ w_i $ 可以根据误差项的方差来设定，如 $ w_i = 1/\sigma_i^2 $，其中 $ \sigma_i^2 $ 表示第 $ i $ 个观测点的误差方差。
三、与普通最小二乘法的区别
| 特征 | 普通最小二乘法（OLS） | 加权最小二乘法（WLS） |
| 权重 | 所有观测点权重相同 | 观测点权重可不同 |
| 适用条件 | 误差项同方差 | 误差项异方差 |
| 估计效果 | 在同方差情况下最优 | 在异方差情况下更优 |
| 计算复杂度 | 简单 | 略高（需确定权重） |
| 适用场景 | 基础线性回归 | 需要处理异方差问题的回归分析 |
四、权重的确定方法
1. 已知方差结构：若已知各观测点的误差方差 $ \sigma_i^2 $，则可以直接设置 $ w_i = 1/\sigma_i^2 $。
2. 经验估计：若未知方差结构，可通过残差分析或分组计算来估计权重。
3. 迭代方法：如FGLS（Feasible Generalized Least Squares），先用OLS估计残差，再根据残差估计方差，进而得到权重。
五、优点与局限性
| 优点 | 局限性 |
| 提高估计精度，特别是在异方差情况下 | 需要合理设定权重，否则效果不佳 |
| 更适用于现实中的非平稳数据 | 对异常值较为敏感 |
| 能更好地反映数据的实际情况 | 计算复杂度略高于OLS |
六、应用场景
加权最小二乘法广泛应用于经济、金融、工程等领域，尤其在以下情况中表现优异：
- 数据存在明显的异方差性；
- 不同样本点的测量精度不同；
- 需要对某些观测点给予更高关注。
七、总结
加权最小二乘法是对普通最小二乘法的重要改进，能够有效应对数据中的异方差问题，提升回归模型的准确性和可靠性。在实际应用中，合理选择权重是关键，需结合具体问题背景进行分析和调整。对于研究者和实践者而言，掌握这一方法有助于更深入地理解数据特征，优化模型性能。