【最小二乘算法计算公式】在数据拟合与回归分析中，最小二乘法是一种常用的数学优化技术，用于寻找最佳拟合曲线或直线，使得实际观测值与模型预测值之间的误差平方和最小。该方法广泛应用于统计学、工程、经济学等领域。
一、最小二乘法的基本思想
最小二乘法的核心思想是：通过调整模型参数，使实际数据点与模型预测值之间的误差平方和达到最小。即：
$$
\text{最小化} \quad S = \sum_{i=1}^{n}(y_i - f(x_i))^2
$$
其中：
- $ y_i $ 是第 $ i $ 个观测值；
- $ f(x_i) $ 是根据模型函数计算出的预测值；
- $ n $ 是数据点的总数。
二、线性最小二乘法（一元线性回归）
对于一元线性回归模型：
$$
y = a + bx
$$
目标是找到最优的系数 $ a $ 和 $ b $，使得误差平方和最小。
计算公式如下：
$$
b = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}
$$
$$
a = \frac{\sum y_i - b \sum x_i}{n}
$$
其中：
- $ n $ 是样本数量；
- $ x_i, y_i $ 是各数据点的自变量和因变量。
三、多项式最小二乘法
若拟合的是多项式模型，例如二次多项式：
$$
y = a_0 + a_1x + a_2x^2
$$
则需要求解线性方程组来确定系数 $ a_0, a_1, a_2 $。其一般形式为：
$$
\begin{cases}
\sum y = a_0 n + a_1 \sum x + a_2 \sum x^2 \\
\sum xy = a_0 \sum x + a_1 \sum x^2 + a_2 \sum x^3 \\
\sum x^2 y = a_0 \sum x^2 + a_1 \sum x^3 + a_2 \sum x^4
\end{cases}
$$
四、最小二乘法的优缺点
| 优点 | 缺点 |
| 简单易实现 | 对异常值敏感 |
| 计算效率高 | 假设误差服从正态分布 |
| 可用于多种模型拟合 | 需要先设定模型形式 |
五、最小二乘法的计算步骤总结
| 步骤 | 内容 |
| 1 | 收集数据点 $(x_i, y_i)$ |
| 2 | 根据模型形式建立误差平方和表达式 |
| 3 | 对模型参数求偏导并令其为零，得到正规方程组 |
| 4 | 解正规方程组，得到最优参数估计值 |
| 5 | 代入模型，进行预测或拟合 |
六、示例表格（线性最小二乘）
| $ x_i $ | $ y_i $ | $ x_i y_i $ | $ x_i^2 $ |
| 1 | 2 | 2 | 1 |
| 2 | 4 | 8 | 4 |
| 3 | 6 | 18 | 9 |
| 4 | 8 | 32 | 16 |
| 合计 | 20 | 60 | 30 |
根据公式计算：
$$
b = \frac{4 \times 60 - 10 \times 20}{4 \times 30 - 10^2} = \frac{240 - 200}{120 - 100} = \frac{40}{20} = 2
$$
$$
a = \frac{20 - 2 \times 10}{4} = \frac{20 - 20}{4} = 0
$$
最终模型为：$ y = 0 + 2x $
七、结语
最小二乘法是一种基础且实用的数学工具，适用于各种线性和非线性拟合问题。掌握其基本原理和计算公式，有助于在数据分析与建模过程中做出更准确的判断和决策。