计算机视觉——相机标定

一、像素坐标系、图像坐标系、相机坐标系、世界坐标系
二、坐标系变换
- 图像坐标系 → 像素坐标系
- 相机坐标系 → 图像坐标系
- 世界坐标系 → 相机坐标系
- $\star$ 世界坐标系 → 像素坐标系
三、相机标定

一、像素坐标系、图像坐标系、相机坐标系、世界坐标系

像素坐标系：数字图像在计算机内为 $M\times N$ 的数组，其中每个元素（称为像素）的数值即是图像点的亮度（或称为灰度，彩色图像对应的为RGB）。在图像上定义直角坐标系 $u, v$ ，每一个像素的坐标 $(u, v)$ 分别是该像素在数组中的列数与行数。
图像坐标系：以图像内某一点 $O_1$ 为原点， $x$ 轴与 $y$ 轴分别与 $u, v$ 轴平行，该坐标系中，原点 $O_1$ 定义在相机光轴与图像平面的交点，该点一般位于图像中心处。

图1 像素坐标系与图像坐标系

相机坐标系：如图所示，其中 $O$ 点称为相机光心， $X_c$ 轴和 $Y_c$ 轴与图像的 $x$ 轴与 $y$ 轴平行， $Z_c$ 轴为相机的光轴，它与图像平面垂直。光轴与图像平面的交点，即为图像物理坐标系的原点，由点 $O$ 与 $X_c,Y_c,Z_c$ 轴组成的直角坐标系称为相机坐标系。 $OO_1$ 为相机焦距。
世界坐标系：由于相机可安放在环境中的任意位置，我们在环境中还需选择一个基准坐标系来描述相机的位置，并用它描述环境中任意物体的位置，该坐标系称为世界坐标系。它由 $X_w,Y_w,Z_w$ 轴组成。

图2 相机坐标系与世界坐标系

二、坐标系变换

图像坐标系 → 像素坐标系

如图1所示，若 $O_1$ 在 $u, v$ 坐标系中的坐标为 $u_0,v_0)$ ，每个像素在 $x$ 轴与 $y$ 轴方向上的物理尺寸为 $d x, d y$ ，单位：毫米（mm），则图像中任意一个像素在两个坐标系下的坐标有如下关系：
$\begin{aligned} u&=\frac{x}{dx}+u_0\\[2ex] v&=\frac{y}{dy}+v_0 \end{aligned}\tag{1}$

写成矩阵的形式：

$\left[ \begin{matrix} u \\[2ex] v \\[2ex] 1 \end{matrix} \right]= \left[ \begin{matrix} \dfrac{1}{dx} & 0 & u_0\\[2ex] 0 & \dfrac{1}{dy} & v_0\\[2ex] 0 & 0 & 1\\ \end{matrix} \right]\left[ \begin{matrix} x \\[2ex] y \\[2ex] 1 \end{matrix} \right] \quad\Longleftrightarrow\quad \left[ \begin{matrix} x \\[2ex] y \\[2ex] 1 \end{matrix} \right]= \left[ \begin{matrix} dx & 0 & -u_0dx\\[2ex] 0 & dy & -v_0dy\\[2ex] 0 & 0 & 1\\ \end{matrix} \right]\left[ \begin{matrix} u \\[2ex] v \\[2ex] 1 \end{matrix} \right]\tag{2}$

相机坐标系 → 图像坐标系

如图2所示，相机坐标系中的点 $X_c,Y_c,Z_c)$ 投影到图像坐标系中的点为 $(x, y)$ 。根据相似三角形原理可以得到如下关系式：
$\begin{aligned} x=\dfrac{fX_c}{Z_c}，\quad y=\dfrac{fY_c}{Z_c} \end{aligned}\tag{3}$

写成矩阵的形式：
$Z_c\left[ \begin{matrix} x \\[2ex] y \\[2ex] 1 \end{matrix} \right]=\left[ \begin{matrix} f & 0 & 0 & 0\\[2ex] 0 & f & 0 & 0\\[2ex] 0 & 0 & 1 & 0\\ \end{matrix} \right]\left[ \begin{matrix} X_c \\[2ex] Y_c \\[2ex] Z_c \\[2ex] 1 \end{matrix} \right]\tag{4}$

世界坐标系 → 相机坐标系

相机坐标系与世界坐标系之间的关系可以用旋转矩阵 $\pmb R$ 与平移向量 $\pmb t$ 来描述。因此，若空间中某一点 $\pmb P$ 在世界坐标系与相机坐标系下的坐标分别为 $X_w,Y_w,Z_w,1)^T$ 与 $X_c,Y_c,Z_c,1)^T$ ，于是存在如下关系：
$\left[ \begin{matrix} X_c \\[2ex] Y_c \\[2ex] Z_c \\[2ex] 1 \end{matrix} \right]= \left[ \begin{matrix} \pmb R & \pmb t\\[2ex] \ {\pmb 0}^T & 1 \end{matrix} \right]\left[ \begin{matrix} X_w \\[2ex] Y_w \\[2ex] Z_w \\[2ex] 1 \end{matrix} \right]=\pmb M_1\left[ \begin{matrix} X_w \\[2ex] Y_w \\[2ex] Z_w \\[2ex] 1 \end{matrix} \right]\tag{5}$

其中， $\pmb R$ 为 $3\times 3$ 单位正交矩阵， $\pmb t$ 为三维平移向量， $\pmb 0=(0,0,0)^T$ ， $M1 \pmb M_1$ 为 $4\times 4$ 矩阵。

$\star$ 世界坐标系 → 像素坐标系

联立式 $(2), (4), (5)$ ，消去 $x,y,1)^T,(X_c,Y_c,Z_c,1)^T$ ，有，
$\begin{aligned} Z_c\left[ \begin{matrix} u \\[2ex] v \\[2ex] 1 \end{matrix} \right]&=\left[ \begin{matrix} \dfrac{1}{dx} & 0 & u_0\\[2ex] 0 & \dfrac{1}{dy} & v_0\\[2ex] 0 & 0 & 1\\ \end{matrix} \right]\left[ \begin{matrix} f & 0 & 0 & 0\\[2ex] 0 & f & 0 & 0\\[2ex] 0 & 0 & 1 & 0\\ \end{matrix} \right]\left[ \begin{matrix} \pmb R & \pmb t\\[2ex] \ {\pmb 0}^T & 1 \end{matrix} \right]\left[ \begin{matrix} X_w \\[2ex] Y_w \\[2ex] Z_w \\[2ex] 1 \end{matrix} \right]\\ &=\left[ \begin{matrix} a_x & 0 & u_0 & 0\\[2ex] 0 & a_y & v_0 & 0\\[2ex] 0 & 0 & 1 & 0\\ \end{matrix} \right]\left[ \begin{matrix} \pmb R & \pmb t\\[2ex] \ {\pmb 0}^T & 1 \end{matrix} \right]\left[ \begin{matrix} X_w \\[2ex] Y_w \\[2ex] Z_w \\[2ex] 1 \end{matrix} \right]\\ &=\pmb M_1\pmb M_2 \left[ \begin{matrix} X_w \\[2ex] Y_w \\[2ex] Z_w \\[2ex] 1 \end{matrix} \right]\\ &=\pmb M \left[ \begin{matrix} X_w \\[2ex] Y_w \\[2ex] Z_w \\[2ex] 1 \end{matrix} \right] \end{aligned}\tag{6}$

其中， $a_x=\dfrac{f}{dx},a_y=\dfrac{f}{dy}$ ，由于 $a_x,a_y,u_0,v_0$ 只与相机内部结构有关，因此称 $M1 \pmb M_1$ 为相机的内参矩阵；而 $M2 \pmb M_2$ 完全由相机相对于世界坐标系的方位决定，因此称为相机的外参矩阵；称 $\pmb M$ 为投影矩阵。

三、相机标定

确定某一相机的内外参矩阵，称为相机标定。

将式 $(6)$ 写成
$Z_{ci}\left[ \begin{matrix} u_i \\[2ex] v_i \\[2ex] 1 \end{matrix} \right]=\left[ \begin{matrix} m_{11} & m_{12} & m_{13} & m_{14} \\[2ex] m_{21} & m_{22} & m_{23} & m_{24} \\[2ex] m_{31} & m_{32} & m_{33} & m_{34} \end{matrix} \right]\left[ \begin{matrix} X_{wi} \\[2ex] Y_{wi} \\[2ex] Z_{wi} \\[2ex] 1 \end{matrix} \right]\tag{7}$

其中， $X_{wi},Y_{wi},Z_{wi},1)$ 为空间中第 $i$ 个点的世界坐标； $u_i,v_i,1)$ 为对应的像素坐标。式 $(7)$ 包含三个方程：
$\begin{aligned} Z_{ci}u_i&=m_{11}X_{wi}+m_{12}Y_{wi}+m_{13}Z_{wi}+m_{14}\\[2ex] Z_{ci}v_i&=m_{21}X_{wi}+m_{22}Y_{wi}+m_{23}Z_{wi}+m_{24}\\[2ex] Z_{ci}&=m_{31}X_{wi}+m_{32}Y_{wi}+m_{33}Z_{wi}+m_{34} \end{aligned}\tag{8}$

将式 $(8)$ 中的第一式减去 $u_i$ 乘第三式，第二式减去 $v_i$ 乘第三式，分别消去 $Z_{ci}$ 后，可得如下线性方程：
$\begin{aligned} X_{wi}m_{11}+Y_{wi}m_{12}+Z_{wi}m_{13}+m_{14}-u_iX_{wi}m_{31}-u_iY_{wi}m_{32}-u_iZ_{wi}m_{33}-u_im_{34}&=0\\[2ex] X_{wi}m_{21}+Y_{wi}m_{22}+Z_{wi}m_{23}+m_{24}-v_iX_{wi}m_{31}-v_iY_{wi}m_{32}-v_iZ_{wi}m_{33}-v_im_{34}&=0\\[2ex] \end{aligned}\tag{9}$