EEPW论坛

OpenCV-Python系列之对极几何理论

在我们使用针孔相机时，我们会丢失大量重要的信息，比如说图像的深度，或者说图像上的点和摄像机的距离，因这是一个从 3D 到 2D 的转换。因此一 个重要的问题就产生了，使用这样的摄像机我们能否计算除深度信息呢？答案 就是使用多个相机。我们的眼睛就是这样工作的，使用两个摄像机（两个眼睛）， 这被称为立体视觉。

在进入深度图像之前，我们要先掌握一些多视角几何的基本概念。在本节中我们要处理对极几何。下图为使用两台摄像机同时对一个一个场景进行拍摄的示意图。

 如果只是用一台摄像机我们不可能知道 3D 空间中的 X 点到图像平面的距离，因为 OX 连线上的每个点投影到图像平面上的点都是相同的。但是如果我 们也考虑上右侧图像的话，直线 OX 上的点将投影到右侧图像上的不同位置。 所以根据这两幅图像，我们就可以使用三角测量计算出 3D 空间中的点到摄像 机的距离（深度）。这就是整个思路。

直线 OX 上的不同点投射到右侧图像上形成的线 l′ 被称为与 x 点对应的极线。也就是说，我们可以在右侧图像中沿着这条极线找到 x 点。它可能在这条 直线上某个位置（这意味着对两幅图像间匹配特征的二维搜索就转变成了沿着极线的一维搜索。这不仅节省了大量的计算，还允许我们排除许多导致虚假匹配的点）。这被称为对极约束。与此相同，所有的点在其他图像中都有与之对应 的极线。平面 XOO' 被称为对极平面。

O 和 O' 是摄像机的中心。从上面的示意图可以看出，右侧摄像机的中心O' 投影到左侧图像平面的 e 点，这个点就被称为极点。极点就是摄像机中心连 线与图像平面的交点。因此点 e' 是左侧摄像机的极点。有些情况下，我们可能 不会在图像中找到极点，它们可能落在了图像之外（这说明这两个摄像机不能拍摄到彼此）。

所有的极线都要经过极点。所以为了找到极点的位置，我们可以先找到多条极线，这些极线的交点就是极点。 本节我们的重点就是找到极线和极点。为了找到它们，我们还需要两个元素，本征矩阵（E）和基础矩阵（F）。本征矩阵包含了物理空间中两个摄像机 相关的旋转和平移信息。如下图所示：

基础矩阵 F 除了包含 E 的信息外还包含了两个摄像机的内参数。由于 F 包含了这些内参数，因此它可以它在像素坐标系将两台摄像机关联起来。（如果 使用是校正之后的图像并通过除以焦距进行了归一化，F=E）。简单来说，基 础矩阵 F 将一副图像中的点映射到另一幅图像中的线（极线）上。这是通过匹 配两幅图像上的点来实现的。要计算基础矩阵至少需要 8 个点（使用 8 点算 法）。点越多越好，可以使用 RANSAC 算法得到更加稳定的结果（该算法我们在之前已经讲过）。

本次教程我们简述其部分原理，将在下次进行实战。