【多视角立体视觉系列】 几何变换的层次——投影变换，仿射变换，度量变换和欧几里德变换

在用数学形式描述四大类型的几何变换之前，我们要先探讨下，到底什么叫“几何变换”？几何变换不应该只是几个公式咻咻咻地套进去，然后从一堆数字到另一堆数字的过程，几何变换的过程中，我们要留意的是，到底什么几何元素一直没有改变，而什么几何元素可能会改变的。这种变换前后的不变性，对于研究几何变换来说是很重要的，变换的不变性在计算机视觉中也会提供很重要的点子，是一个不可忽视的要点。不管怎么说，我们接下来要留意几何变换的不变性了。注意，接下来的讨论都在三维空间的例子中讨论，涉及到二维空间时将会特别提醒。

因为投影变换的范围是最广的，其数学形式是最为通用的，于是我们就先从投影变换开始讨论吧。正如式子(3.1)所展示的，我们可以通过线性矩阵变换来描述投影变换，如：
TP=[p11p12p13p14p21p22p23p24p31p22p33p34p41p22p43p44]∈R4×4[X′Y′Z′1]=TP[XYZ1](5.1) \begin{aligned} \mathbf{T}_{P} &= \left[ \begin{matrix} p_{11} & p_{12} & p_{13} & p_{14} \\ p_{21} & p_{22} & p_{23} & p_{24} \\ p_{31} & p_{22} & p_{33} & p_{34} \\ p_{41} & p_{22} & p_{43} & p_{44} \end{matrix} \right] \in \mathbb{R}^{4 \times 4} \\ \left[ \begin{matrix} X^{\prime} \\ Y^{\prime} \\ Z^{\prime} \\ 1 \end{matrix} \right] &= \mathbf{T}_P \left[ \begin{matrix} X \\ Y \\ Z \\ 1 \end{matrix} \right] \end{aligned} \tag{5.1} TP​⎣⎢⎢⎡​X′Y′Z′1​⎦⎥⎥⎤​​=⎣⎢⎢⎡​p11​p21​p31​p41​​p12​p22​p22​p22​​p13​p23​p33​p43​​p14​p24​p34​p44​​⎦⎥⎥⎤​∈R4×4=TP​⎣⎢⎢⎡​XYZ1​⎦⎥⎥⎤​​(5.1)
注意到TP\mathbf{T}_PTP​其实自由度是15，虽然他有16个元素，具体原因见[4]中的关于自由度的说明。在投影变换中，只有共线性，切线性和交叉比(cross-ratio)是不变的。共线性我们之前说过了，切线性指的是，在变换前某个直线是某个曲线的切线，那么变换后这个性质同样保留。投影变换不保留平行性，也不保留无限远处的理想点的位置，因此变换前后，无限可能变成有限，反之亦然。

至于交叉比，我们这样理解，假设客体上有四个点共线，分别是M1,M2,M3,M4M_1, M_2, M_3, M_4M1​,M2​,M3​,M4​，那么在选定了参考点之后，其他的共线的点可以被如下式子统一表示：
Mi=M+λiM′(5.2) M_i = M+\lambda_iM^{\prime} \tag{5.2} Mi​=M+λi​M′(5.2)
那么交叉比表示为：
{M1,M2:M3,M4}=λ1−λ3λ1−λ4:λ2−λ3λ2−λ4(5.3) \{M_1, M_2:M_3,M_4\} = \dfrac{\lambda_1-\lambda_3}{\lambda_1-\lambda_4}:\dfrac{\lambda_2-\lambda_3}{\lambda_2-\lambda_4} \tag{5.3} {M1​,M2​:M3​,M4​}=λ1​−λ4​λ1​−λ3​​:λ2​−λ4​λ2​−λ3​​(5.3)
这个交叉比的具体比例和参考点的选定无关，并且其在投影变换下保持不变。这个性质为我们通过平面的几何体线条比例去计算客体的相对深度信息提供了依据。

如图Fig 5.1所示，这个是一个特殊的投影变换——透视法后的一个正方体的二维透视图。我们发现平行线相交于理想点Vz,Vy,VxV_z, V_y, V_xVz​,Vy​,Vx​。

具体的一些消失点的计算，可以参考我以前的博客[9]，这里不赘述。

仿射变换的数学形式如(5.4)(5.5)所示，可以发现是对投影变换进行了一些元素上的约束后产生的，一般常见的仿射变换子类型包括旋转（rotation），尺度放缩（scale），平移（translation），切变（shear），具体的公式和约束条件见以前的博文[3]。注意到仿射变换前后的不变性继承了投影变换的不变性，也即是共线性，交叉比和切线性。

TA=[a11a12a13a14a21a22a23a24a31a22a33a340001]∈R4×4[X′Y′Z′1]=TA[XYZ1](5.4) \begin{aligned} \mathbf{T}_{A} &= \left[ \begin{matrix} a_{11} & a_{12} & a_{13} & a_{14} \\ a_{21} & a_{22} & a_{23} & a_{24} \\ a_{31} & a_{22} & a_{33} & a_{34} \\ 0 & 0 & 0 & 1 \end{matrix} \right] \in \mathbb{R}^{4 \times 4} \\ \left[ \begin{matrix} X^{\prime} \\ Y^{\prime} \\ Z^{\prime} \\ 1 \end{matrix} \right] &= \mathbf{T}_A \left[ \begin{matrix} X \\ Y \\ Z \\ 1 \end{matrix} \right] \end{aligned} \tag{5.4} TA​⎣⎢⎢⎡​X′Y′Z′1​⎦⎥⎥⎤​​=⎣⎢⎢⎡​a11​a21​a31​0​a12​a22​a22​0​a13​a23​a33​0​a14​a24​a34​1​⎦⎥⎥⎤​∈R4×4=TA​⎣⎢⎢⎡​XYZ1​⎦⎥⎥⎤​​(5.4)

其TA\mathbf{T}_ATA​的约束是：

det⁡([a11a12a13a21a22a23a31a22a33])≠0(5.5) \det( \left[ \begin{matrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{22} & a_{33} \end{matrix} \right] ) \neq 0 \tag{5.5} det(⎣⎡​a11​a21​a31​​a12​a22​a22​​a13​a23​a33​​⎦⎤​)​=0(5.5)

容易发现的是，仿射变换的自由度是12，并且容易可以验证仿射变换不会移动无限远处的理想面Π∞\Pi_{\infty}Π∞​，可以简单证明下：

在仿射变换后，理想面变成
Π∞′=TA−TΠ∞(5.6) \Pi_{\infty}^{\prime} = \mathbf{T}_A^{-\mathrm{T}} \Pi_{\infty} \tag{5.6} Π∞′​=TA−T​Π∞​(5.6)
我们从(2.2)知道了对于理想面的表达为Π∞=(0,0,0,1)T\Pi_{\infty} = (0,0,0,1)^{\mathrm{T}}Π∞​=(0,0,0,1)T。于是容易验证Π∞′=(0,0,0,1)T\Pi_{\infty}^{\prime} = (0,0,0,1)^{\mathrm{T}}Π∞′​=(0,0,0,1)T因此未曾改变理想面。然而，在理想面上的理想点的位置即便没有从无限远处变成有限远处，在仿射变换下也可能在理想面上发生偏移，也就是说仿射变换不保留理想面上点的位置。这一点可以简单证明下，假设理想面上有一个圆锥线[4] xTCx=0\mathbf{x}^{\mathrm{T}} \mathbf{C} \mathbf{x} = 0xTCx=0其中C=I3×3\mathbf{C} = \mathbf{I}_{3 \times 3}C=I3×3​单位矩阵，假设仿射变换后有点的位置偏移x′=TAx\mathbf{x}^{\prime} = \mathbf{T}_A\mathbf{x}x′=TA​x，那么我们可以知道，变换后的C′=TATCTA=TATTA\mathbf{C}^{\prime} = \mathbf{T}_A^{\mathrm{T}} \mathbf{C} \mathbf{T}_A = \mathbf{T}_A^{\mathrm{T}} \mathbf{T}_AC′=TAT​CTA​=TAT​TA​

注意到在没有其他约束的情况下，此圆锥线轨迹已经变了。其实这一点也很容易理解，我们对仿射几何空间的坐标轴进行拉伸收缩，每一个轴进行的幅度是不同的，因此在理想面上的圆锥线自然会发生拉伸形变，比如说，可能会从圆形变成椭圆形。（事实上，圆锥曲线在投影变换下等价，这点也容易证明，暂且忽略）。

至于仿射变换的平行性不变性，这点非常容易证明，就留个读者证明吧。

正如我们之前所说的，相似性变换是在欧几里德空间的每个坐标轴都拉伸收缩相同的幅度产生的，那么自然地，理想面上的圆锥曲线形状是不会改变的，至于这个圆锥曲线变得“多大多小”，这种尺度小大的是不影响不变性的。相似性变换的公式如：
TM=[σr11σr12σr13tXσr21σr22σr23tYσr31σr22σr33tZ0001]∈R4×4[X′Y′Z′1]=TM[XYZ1](5.7) \begin{aligned}\mathbf{T}_{M} &= \left[\begin{matrix}\sigma r_{11} & \sigma r_{12} & \sigma r_{13} & t_X \\\sigma r_{21} & \sigma r_{22} & \sigma r_{23} & t_Y \\\sigma r_{31} & \sigma r_{22} & \sigma r_{33} & t_Z \\0 & 0 & 0 & 1 \end{matrix}\right] \in \mathbb{R}^{4 \times 4} \\\left[\begin{matrix}X^{\prime} \\Y^{\prime} \\Z^{\prime} \\1\end{matrix}\right] &= \mathbf{T}_M\left[\begin{matrix}X \\Y \\Z \\1\end{matrix}\right]\end{aligned}\tag{5.7} TM​⎣⎢⎢⎡​X′Y′Z′1​⎦⎥⎥⎤​​=⎣⎢⎢⎡​σr11​σr21​σr31​0​σr12​σr22​σr22​0​σr13​σr23​σr33​0​tX​tY​tZ​1​⎦⎥⎥⎤​∈R4×4=TM​⎣⎢⎢⎡​XYZ1​⎦⎥⎥⎤​​(5.7)
其中，注意到TM\mathbf{T}_{M}TM​存在一些约束：
RM=[r11r12r13r21r22r23r31r32r33]RMTRM=RMRMT=I3×3det⁡(RM)=1(5.8) \begin{aligned} \mathbf{R}_{M} &= \left[ \begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix} \right] \\ \mathbf{R}_M^{\mathrm{T}} \mathbf{R}_{M} &= \mathbf{R}_{M} \mathbf{R}_M^{\mathrm{T}} = \mathbf{I}_{3 \times 3} \\ \det(\mathbf{R}_M) &= 1 \end{aligned} \tag{5.8} RM​RMT​RM​det(RM​)​=⎣⎡​r11​r21​r31​​r12​r22​r32​​r13​r23​r33​​⎦⎤​=RM​RMT​=I3×3​=1​(5.8)
也就是说TM\mathbf{T}_MTM​的子矩阵RM\mathbf{R}_MRM​是一个正交矩阵，并且其行列式值为1（可以视为进行过归一化）。事实上，这里的RM\mathbf{R}_MRM​可以视为是旋转矩阵，而tM=(tX,tY,tZ)T\mathbf{t}_M = (t_X, t_Y, t_Z)^{\mathrm{T}}tM​=(tX​,tY​,tZ​)T可以视为是将变换前的原点坐标挪到该处，是一个平移偏置向量。而σ\sigmaσ表示的正是对整个客体的放缩尺寸大小。于是我们发现，整个TM\mathbf{T}_MTM​的自由度为7，其中3个是朝向相关的自由度，3个是平移相关的，而1个是尺度大小相关的。

考虑到相似性变换前后的不变性，除了继承了仿射变换的不变性之外，还添加了两个重要的新的不变性：**相对距离不变 **和 角度不变。相对距离不变指的是变换前后每个线条的比例是一定的，线条之间的距离的比例也是不变的；角度不变就很好理解了，变换前后，线条之间的夹角不变。

对比仿射变换，相似性变换的理想面的圆锥线有个非常重要的性质，其变换前后形状不变。我们可以尝试对此进行证明。正如Fig 5.2所示，我们假设理想面Π∞\Pi_{\infty}Π∞​ 上的二次曲锥面为Ω\OmegaΩ， 但是二次曲锥面是一个立体图形，不容易可视化，我们经常用其对偶二次曲锥面为Ω∗\Omega^{*}Ω∗表示，其表现为一系列的平面。理想面上的二次曲锥面称之为绝对二次曲锥面（Absolute Quadric）。

二次曲锥面是在三维情况下的，在平面上的情况，二次曲锥面就变成了圆锥线ω∞\omega_{\infty}ω∞​，其对偶形式为一系列的直线，表示为ω∞∗\omega_{\infty}^*ω∞∗​。我们将理想面上的圆锥线称之为绝对圆锥线（Image of Absolute Conic， IAC）。

我们暂且只考虑三维情况下的Ω\OmegaΩ，其最简单的形式就是一个球：

Ω:X2+Y2+Z2=0(5.9) \Omega : X^2+Y^2+Z^2 = 0 \tag{5.9} Ω:X2+Y2+Z2=0(5.9)

其矩阵形式为：

Ω=[1000010000100000](5.10) \Omega = \left[ \begin{matrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ \end{matrix} \right] \tag{5.10} Ω=⎣⎢⎢⎡​1000​0100​0010​0000​⎦⎥⎥⎤​(5.10)
二次曲锥面的方程是xTΩx=0\mathbf{x}^{\mathrm{T}} \mathbf{\Omega} \mathbf{x} = 0xTΩx=0，经过相似性变换后，x′=TMTx\mathbf{x}^{\prime} = \mathbf{T}_M^{\mathrm{T}} \mathbf{x}x′=TMT​x。于是变换后，新的二次曲锥面可以表示为：
(TMTx)TΩTMTx=0(5.11) (\mathbf{T}_M^{\mathrm{T}} \mathbf{x})^{\mathrm{T}} \mathbf{\Omega} \mathbf{T}_M^{\mathrm{T}} \mathbf{x} = 0 \tag{5.11} (TMT​x)TΩTMT​x=0(5.11)

Ω′=TMΩTMT(5.12) \mathbf{\Omega}^{\prime} = \mathbf{T}_{M} \mathbf{\Omega} \mathbf{T}_M^{\mathrm{T}} \tag{5.12} Ω′=TM​ΩTMT​(5.12)

为了方便，我们将用分块矩阵的方式计算这个矩阵：

[σRtM03T1][I3×30303T0][σRtM03T1]T(5.13) \left[ \begin{matrix} \sigma \mathbf{R} & \mathbf{t}_M \\ 0_3^{\mathrm{T}} & 1 \end{matrix} \right] \left[ \begin{matrix} \mathbf{I}_{3 \times 3} & 0_3 \\ 0_3^{\mathrm{T}} & 0 \end{matrix} \right] \left[ \begin{matrix} \sigma \mathbf{R} & \mathbf{t}_M \\ 0_3^{\mathrm{T}} & 1 \end{matrix} \right]^{\mathrm{T}} \tag{5.13} [σR03T​​tM​1​][I3×3​03T​​03​0​][σR03T​​tM​1​]T(5.13)

于是有：

Ω′=σ2RI3×3RT=σ2I3×3(5.14) \mathbf{\Omega}^{\prime} = \sigma^2 \mathbf{R} \mathbf{I}_{3 \times 3} \mathbf{R}^{\mathrm{T}} = \sigma^2 \mathbf{I}_{3 \times 3}\tag{5.14} Ω′=σ2RI3×3​RT=σ2I3×3​(5.14)
因为σ\sigmaσ是尺度因子，因此对形状没有影响，我们发现变换前后绝对圆锥线的形状不变。

欧几里德变换在相似性变换的基础上，只是把尺度因子σ=1\sigma = 1σ=1设置为了1， 其他不变，因此在继承了相似性变换的所有不变性特性的基础上，又增加了绝对长度不变性。我们有：
TE=[r11r12r13tXr21r22r23tYr31r22r33tZ0001]∈R4×4[X′Y′Z′1]=TE[XYZ1](5.15) \begin{aligned}\mathbf{T}_{E} &= \left[\begin{matrix}r_{11} & r_{12} & r_{13} & t_X \\r_{21} & r_{22} & r_{23} & t_Y \\r_{31} & r_{22} & r_{33} & t_Z \\0 & 0 & 0 & 1 \end{matrix}\right] \in \mathbb{R}^{4 \times 4} \\\left[\begin{matrix}X^{\prime} \\Y^{\prime} \\Z^{\prime} \\1\end{matrix}\right] &= \mathbf{T}_E\left[\begin{matrix}X \\Y \\Z \\1\end{matrix}\right]\end{aligned}\tag{5.15} TE​⎣⎢⎢⎡​X′Y′Z′1​⎦⎥⎥⎤​​=⎣⎢⎢⎡​r11​r21​r31​0​r12​r22​r22​0​r13​r23​r33​0​tX​tY​tZ​1​⎦⎥⎥⎤​∈R4×4=TE​⎣⎢⎢⎡​XYZ1​⎦⎥⎥⎤​​(5.15)
因此其自由度就只剩下了3个方向自由度，3个平移自由度。