最小二乘问题

最小二乘问题标准公式

残差函数，线性和非线性最小二乘

最小二乘问题的两种写法：

目标

找到 x使得预测值 Ax与观测值 b 的残差平方和最小。

范数和范数平方

线性最小二乘

一般形式：

• 残差 r=Ax−b是x 的线性函数。

• 目标函数是凸的，存在唯一全局最优解（若A 列满秩）。

求解方法

链接

 线性最小二乘的解法

非线性最小二乘

一般形式：

• 特点：

  • 残差 r=f(x)−b是 x的非线性函数。

  • 目标函数可能非凸，存在多个局部极小值。

求解方法

非线性最小二乘的解法

特性	线性最小二乘	非线性最小二乘
模型形式	Ax=b	f(x)≈b
解的唯一性	唯一解（若满秩）	可能有多个局部极小值
求解方法	解析解（正规方程、QR、SVD）	迭代法（高斯-牛顿、LM、梯度下降）
计算复杂度	O(n3)（矩阵分解）	每迭代次 O(mn2)（雅可比计算）
适用场景	线性回归、信号处理	曲线拟合、SLAM、神经网络训练

凸函数，凹函数，非凸函数

函数解释和图像

简单理解就是：

凸函数：整个函数凸起来；

凹函数：整个函数凹陷。

如果函数有凸起，又有凹陷呢？

 非凸函数（Non-Convex Function）

定义：
既不是凸函数也不是凹函数的函数，或局部同时存在凸性和凹性的函数。
几何意义：
图像可能有“波浪形”、“鞍点”或“多个极值点”（如山脉与山谷交替）。
性质：

• 存在多个局部极小值/极大值，优化困难。

在slam中的凸和凹函数

• 凸函数：图像无凹陷，优化简单，全局最优解唯一。

• 非凸函数：图像复杂，优化困难，需处理多极值问题。

• 最小二乘：线性时为凸，非线性时通常非凸，解法差异显著。

特性	凸函数	非凸函数
图像形状	向上开口的“碗状”或直线	可能存在“波浪”、“鞍点”或“多个坑”
极值点	唯一全局最小值	多个局部极小值/鞍点
优化难度	容易（梯度下降必收敛到全局最优）	困难（需全局优化策略）