摄像机固有参数与失真系数的解耦标定方法

摘要

在视觉测量领域，摄像机标定是一个必不可少的过程。本文提出了一种灵活、高精度的摄像机标定方法。首先，计算径向畸变中心，这对获得最优结果至关重要。然后，基于分割模型的径向畸变，对摄像机的固有参数和畸变系数进行独立线性求解。最后，利用Levenberg-Marquardt算法对摄像机的内部参数进行优化。该方法成功地实现了畸变系数与固有参数的解耦;通过后续的优化过程，进一步提高了标定精度。此外，无论是对较小的图像畸变还是较大的图像畸变，使用我们的方法都能得到很好的结果。仿真和实际数据实验证明了该方法的鲁棒性和准确性。实验结果表明，该方法能够获得比经典方法更高的精度。

1.介绍

相机标定是摄影测量应用的重要组成部分，旨在从二维图像中计算相机模型参数[1，2]．摄像机模型参数包括内参数和外参数。内禀参数描述了成像过程的几何形状，外禀参数表示了摄像机在世界坐标系中的位置和姿态。摄像机标定精度直接影响视觉测量系统的测量精度。因此，研究一种灵活、高精度的摄像机标定方法具有十分重要的意义。

目前，摄像机标定技术可分为传统摄像机标定和摄像机自标定两大类。传统的摄像机标定方法利用场景信息，包括具有精确坐标的点或线来求解摄像机参数，而自标定方法仅利用图像序列之间的关系求解摄像机参数。一般来说，为了满足高精度的要求，我们通常采用传统的摄像机标定方法。此外，传统的优化方法包括三种类型:线性优化方法、非线性优化方法和两步法。霍尔等人[3.通过计算，介绍了第一种线性方法基于针孔模型的变换矩阵。随后，通过引入各种透镜畸变，发展了非线性标定方法[4- - - - - -10]．张(11]提出了一种基于打印平面标定模式的桌面视觉系统柔性标定技术，是两步法的典型代表。

近年来，越来越多的研究致力于提高摄像机标定的性能。Wang等[12]提出了一种新的摄像机镜头畸变标定模型，该模型是根据理想成像平面到真实传感器阵列平面的变换而建立的。艾哈迈德和法拉格[13]提出了一种基于图像畸变直线分析的最小二乘中值估计的鲁棒畸变校正方法。后来，Ricolfe-Viala和Sánchez-Salmerón [14]提出了一种考虑非线性摄像机镜头畸变的鲁棒度量标定方法，该方法在稳定条件下从摄像机标定过程中分离出来，独立于计算的镜头畸变模型或参数个数，计算出摄像机镜头畸变。许多其他研究人员[15- - - - - -19]还提出了三维空间或无变形空间的非线性目标函数，以使标定误差最小化，提高标定精度。

然而，在上述文献中，大多数标定方法都采用相同的非线性优化方法。同时，在优化的框架下估计了镜头畸变系数和相机的其他内外参数。根据哈特利的报告[20.，这样的非线性迭代是麻烦的，可能会收敛到局部最小值，而不选择一个好的初值。另外，由于摄像机内部参数和外部参数往往会产生畸变，将针孔模型的标定扩展到摄像机畸变参数的方法，导致内部参数计算误差较大[7]．此外，不同参数之间的耦合会使估计结果相当不可靠[7，13]．因此，除了针孔模型外，采用不同的方法来估计相机畸变系数是很重要的。在[14]， Ricolfe-Viala和Sánchez-Salmerón分别计算透镜畸变模型或畸变参数个数。但他们采用非线性极小化方法求解了畸变中心。虽然Ahmed和Farag [13]成功地解耦了固有参数和失真系数，他们依赖于场景中的直线必须始终透视投影到图像中的直线这一事实。而且，他们假设扭曲中心是已知的。在[21， Fitzgibbon提出了一种通过引入除法模型来估计径向畸变的非迭代方法。他还成功地解耦了固有参数和失真系数。然而，在他的工作中，径向畸变只包含一个参数。

本文提出了一种高精度标定方法。不同于(13，14，21，该方法首先计算径向畸变中心，这对获得最优结果非常重要。然后，在划分模型的基础上，采用线性方法估计相机内部参数和畸变系数，为后续优化提供良好的初始值。此外，该方法还可以计算摄像机的固有参数和任意数量的畸变系数。此外，利用Levenberg-Marquardt算法对摄像机的内部参数进行优化，得到了更准确的结果。实验结果表明，该方法能够获得比经典方法更高的精度。

本文组织如下。部分2简要介绍了摄像机模型和镜头畸变模型。部分3.介绍了所提出的摄像机标定方法的详细步骤。部分4通过仿真实验和实际数据实验验证了所提出的标定方法。最后，以本章的几个重要结论作为本文的结语5．

2.相机模型

摄像机模型如图所示1．给定一个齐次坐标点在3 d空间。透视投影是在基于针孔模型的像面上无透镜畸变。真实的投影是在摄像机的像面上考虑镜头畸变。

不考虑镜头变形，三维点之间的映射和二维图像点是由 在哪里表示非零比例因子;相机固有矩阵，带吗是主点的坐标，和为有效焦距(像素)，和为描述两个像轴的倾斜的参数;分别表示从世界坐标系到摄像机坐标系的旋转和平移向量。

由于在我们的标定过程中使用了平面标定模型，我们假设模型平面不失一般性。从(1),我们有 在哪里是旋转矩阵的第Th列．由于符号的滥用，我们仍然用。表示模型平面上的点．因此,3 d点和它的像点是由单应性联系起来的吗，

受透镜畸变的影响，如图所示1，实际的图像点这不是重点，即图像平面交点的连接三维点还有光中心，但它有一些偏差。理论计算将通过实际图像坐标校正后的理想图像坐标进行;通过畸变补偿模型可以实现标定过程。相机镜头失真是康拉迪在1919年首次提出的偏心镜头失真。之后,布朗(22]提出了径向、偏心、棱镜畸变模型，并得到了广泛的应用。一般来说，径向畸变对于高精度测量是足够的。Brown提出了多项式模型(PM)，这是描述径向畸变最常用的模型: 在哪里为畸变系数，是畸变中心(COD)的均匀坐标，和像素的半径是．

PM对变形小的镜头效果最好。对于广角镜头或鱼眼镜头，有相当大的失真，往往需要太多的术语比实际。所以,菲茨吉本(21]提出用划分模型(DM)来描述径向畸变模型， 在哪里和在(4）.结合(4)和(5)，我们可以得到一个更通用的Rational模型(RM):

然而，基于RM的成像模型计算速度相对较慢，收敛结果更多地依赖于初值的精度。另一方面，DM比PM最显著的优点是它能够在更低的阶数下表达高失真。因此，我们的摄像机标定工作是基于DM的。

3.相机标定过程

本节将详细描述所提出的校准方法的过程。整个过程分为四个步骤。首先，对校正后的图像进行校正，准确估计畸变中心，使畸变中心恢复到原始图像。然后基于径向畸变分割模型(DM)，利用模型平面与其图像之间的对应点同时计算单应性和畸变系数[21]．在第三步中，根据标定图像的单应性解析计算摄像机的所有固有参数。最后，利用Levenberg-Marquardt算法对摄像机的内部参数进行优化。

３．１．发现鳕鱼

在文献中[9，14，23，研究人员假设COD是图像的中心或相机的主要点。然而，我们都知道这不是一个好的假设。COD可以被许多因素从图像中心偏移，例如CCD镜头中心的偏移，相对于镜头传感器平面的倾斜，或镜头和图像裁剪组合的安装。在一般的消费级相机(比如几百美元的成本)，不应该假设相机的光心是准确的，因为这些效果与主观图像质量没有太大的不同[24]．

哈特利和齐瑟曼做了一些实验[25来表明COD在图像中心的一般假设并不完全正确。此外，他们还证明了点可能会显著偏离图像的中心，或相机的主点。因此，准确估计COD值对于摄像机标定中获得最佳结果至关重要。这里，我们采用[24]来准确估计COD的位置。这种方法虽然简单，但效果很好。我们在这里简单介绍一下这种方法。欲知更多详情，读者可参考文献[24]．已知的点在标定模型平面及其对应的像点上为径向基本关系，可表示为: 在哪里和在(3.),(斜对称矩阵)表示叉积。写作(在[24),矩阵为径向基矩阵)，则(7)可以重写为

请注意,可以大致计算[25](如八点算法)从一些相应的点。则可从其左极估计COD:

当然，在没有径向变形的情况下，上述计算的基本矩阵是不稳定的，估计值为本质上是任意而无意义的。因此，如果没有径向畸变，那么讨论畸变中心就没有多大意义了[24]．

３．２．计算畸变系数和单应性

我们将在这一节计算畸变系数和单应性。根据文献报道[6，22，26，则很可能畸变函数完全由径向分量控制，特别是第一项。此外，任何更详细的建模不仅没有帮助(与传感器量化相比忽略)，而且还会导致数值不稳定[6，26]．

货到付款后，我们可以计算通过分解矩阵（）.虽然是奇异的，这种分解就不是唯一的。本文提出了一种新的求解方法。在这样做的过程中，我们改变了图像的坐标，使COD是原始的。如图所示1，图像平面坐标系是改变了．在哪里COD的真实位置，我们表示为在齐次坐标。然后变换变形图像点可以表示为

同样，变换后的未变形的图像点和原始未变形的图像点被描述为

当坐标原点转换为畸变中心时，单应矩阵被重新定义为定义相应的径向基矩阵为．然后,从(8)，我们可以得到

使用(10) (12)，我们可以得到

此外,从(8)和(13)，我们可以得到

可以计算为

请注意,和；我们有

让和．在这里,是径向基矩阵的第一行,是矩阵的第一行．因为最后一排是0，所以我们只需要解出前两行从(16),也就是说,

然后通过计算单应性，最多只有三个未知参数．单应性的关联模型点和未变形的像点， 请注意,为图像坐标原点转移到COD后未变形的图像点。考虑到划分模型(DM)，我们有 在哪里和在(4),也就是说,

我们的替代品(19) (18）;然后我们就可以

所以每个点都可以给出两个方程，

使用(17) (22)，我们可以得到 鉴于对应点，它满足这个,在那里为畸变参数的个数，可以用最小二乘意义求解方程组。然后第三行(例如,)是解决。此外，畸变系数同时计算。

３．３．相机固有参数的线性解

后得到，单应矩阵因为原始图像的坐标可以很容易地计算出来。从(3.）， （11)和(18)，我们可以得到

让我们用(是th列）.根据旋转矩阵的正交性,我们得到

请注意,为相机固有矩阵。由于单应性有8个自由度，有6个外部参数(3个旋转参数和3个平移参数)，我们只能得到2个内部参数约束。因此，我们至少需要三幅图像来计算所有的参数。后单应性，则摄像机内参数的解析解可在文献[11]．

3．4．最大似然估计

由于图像噪声的存在，上一节得到的固有参数不够精确。我们可以通过极大似然估计来改进它。艾哈迈德和法拉格[13证明了在非线性优化步骤中加入畸变中心和偏心系数会导致估计算法不稳定。因此，我们不需要对畸变系数和畸变中心进行优化。同时，在不牺牲精度的前提下，减少了标定问题的搜索空间，得到了更稳定、噪声鲁棒的结果。在这里,我们给一个模型飞机的图片模型平面上的点。假设图像点被独立的、同分布的噪声破坏。然后通过最小化以下函数得到最大似然估计: 在哪里是点的投影吗在图像根据(3.）.一个旋转由3个参数组成的向量进行参数化，用，平行于旋转轴，其大小等于旋转角度。最小化(26)是一个非线性极小化问题，由Levenberg-Marquardt算法求解[27]．它需要一个初值和，可以使用前一小节中描述的技术获得。

4.实验结果

本节在计算机模拟数据和实际数据上对所提出的标定方法进行了测试。实验主要考虑两种标定方法，Zhang的基于平面目标的标定方法[28和我们的方法(优化前和优化后)。

4．1.模拟实验

模拟摄像机具有以下特性:，，，．图像大小为1024 × 768像素。倾斜因子被设为零。此外，用这些系数模拟了二阶径向畸变pixel-2,像素-4,COD设为(）.平面为棋盘图像，70个角(7 × 10)均匀分布，最小点间距设置为23 mm，与真实数据实验相同。平面的方向由一个三维向量表示，平行于旋转轴，其大小与旋转角度相同。另外，平面的位置用一个三维向量表示．我们用了四架飞机,,,，，，，在实验中。数字2对图像进行了仿真，显示了图像点和畸变点的真实投影。均值为的高斯噪声标准差添加到扭曲的图像中。

然后将估计的摄像机参数与真实值进行比较。我们计算了相对误差和和的绝对误差和．另外，再投影误差的均值也用作评价指标。它由地面真点之间的差值计算和重投影的像点，

将噪声添加到投影图像点从0.1像素到2.0像素不等。对于每个噪音水平，进行了50次独立的重复试验，结果显示是平均的。相机的相对误差和标定精度如图所示3.和4,分别。从这两幅图中可以看出，误差随噪声水平线性增大。值得注意的是，当噪声较低时，两种方法的误差相对较低。例如,对于(比实际校准时的正常噪声大)，绝对误差和在1像素左右，相对误差在，小于0.3%，平均校准误差在0.2像素左右。此外，错误在比那个大吗．主要原因是数据比较少比在方向。

4．2．真实数据实验

对于真实数据实验，由卡内基梅隆大学机器人研究所提供的标定图像[28用来测试我们的方法。标定模板为均匀分布70个角(7 × 10)的平面棋盘图案，垂直方向和水平方向最小点间距为23 mm。拍摄了10张不同方位下的平面图像，如图所示5．(值得注意的是，本文提出的算法适用于电路板各种图像的标定，包括卡耐基梅隆大学提供的所有图片。由于篇幅有限，本文仅随机选取10幅图片作为实验对象。)我们可以在图像中观察到明显的镜头畸变，特别是在图像1、图像3、图像5和图像6中。图像分辨率为1024 × 768像素。

首先，利用角点检测方法获得棋盘角点位置的亚像素精度;接下来，我们将提出的标定方法与Zhang的标定方法进行比较。在实验中，我们利用前三幅图像获取摄像机参数，如表所示1．在Zhang的方法中，他没有考虑畸变中心()，而我们的方法可以。有必要解释……)为前三幅图像的平均值。实际上，三幅图像的COD分别为507.368、508.087、506.139。另外，我们的方法采用DM来表示镜头的畸变，而Zhang的方法依赖于PM，所以产生的畸变系数是不同的。最后，值得注意的是，优化前的方法也计算了COD。然而,由此产生的,几乎和张的一样。稍后我们将看到，优化前的精度不高。

为了验证所提方法的有效性，利用其他7幅测试图像对标定精度进行了评价。这里，我们再一次把计算出来的重投影误差放进去作为评价指标。与模拟测试不同的是，地面真实图像点在这里是未知的，所以我们使用未失真点代替。reprojection错误被定义为

表格2为测试数据重投影误差的比较，其分布如图所示6．如表所示2在平均精度水平和标准误差上，优化后的方法优于张法和优化前的方法。从图6，可以看出后优化方法的分布更集中在近零处。

此外，为了进一步研究所提出的(优化后的)算法的稳定性，我们还将其应用于从第5张到第9张4张图像的一些组合。结果如表所示3.例如，其中的第二列(5678)显示的结果是第5、6、7和8个图像的四倍。最后两列显示平均值和偏差。所有参数的偏差都很小，说明该算法是相当稳定的。

最后，对于一些失真较大的图像，我们分别进行了实验。我们使用四张图像(图像1、图像3、图像5和图像6)来校准内部参数。结果如表所示4．从结果可以看出，我们得到了与Zhang相似的结果。

5.结论

本文提出了一种灵活、高精度的摄像机标定方法。与传统方法相比，该方法克服了许多问题。首先，将失真系数和固有参数的估计解耦，得到更稳定可靠的结果。在此基础上，对中心畸变进行了准确的估计，对获得最佳结果具有重要意义。而且，无论是对较小的图像畸变还是较大的图像畸变，使用我们的方法都能得到很好的结果。最后通过仿真和真实数据实验验证了该方法的鲁棒性和准确性，实验结果表明该方法具有操作简单、精度高、灵活性好等优点。

相互竞争的利益

作者声明本文的发表不存在利益冲突。

致谢

基金资助:国家自然科学基金资助项目(no。61501429)。感谢中国科学院光学与电子研究所光电传感器技术实验室的陪同人员。感谢洪玉珍、左丹的建议和英语检查，感谢卡耐基梅隆大学机器人研究所提供的真实测试图像。

参考文献

1. 彭e，李力，“基于一维信息的摄像机标定及其在受控和非受控环境中的应用”，模式识别号，第43卷。3，页1188-1198,2010。视图:出版商的网站|谷歌学术搜索
2. 崔颖，周飞，刘磊，“用于视觉测量的双目视觉系统的精确标定，”光学表达第22卷第2期8, pp. 9134 - 9149,2014。视图:出版商的网站|谷歌学术搜索
3. E. L. Hall, J. B. K. Tio, C. A. McPherson，和F. A. Sadjadi，“机器人视觉的曲面测量”，电脑，第15卷，第5期。12，页42-54,1982。视图:出版商的网站|谷歌学术搜索
4. J. Heikkilä，“使用圆形控制点的摄像机几何校准”，模式分析与机器智能学报第22卷第2期10，第1066-1077页，2000。视图:出版商的网站|谷歌学术搜索
5. 王军，史飞，张建军，“一种新的摄像机镜头畸变标定模型，”模式识别号，第41卷。2, pp. 607-615, 2008。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
6. R. Y. Tsai，“一种使用现成电视摄像机和镜头的高精度3D机器视觉测量的多功能摄像机校准技术”，机器人与自动化学报，第3卷，第2期。4，第323-344页，1987。视图:谷歌学术搜索
7. J. Weng, P. Cohen, M. Herniou，“基于失真模型和精度评估的摄像机标定”，模式分析与机器智能学报第14卷第2期10，第965-980页，1992。视图:出版商的网站|谷歌学术搜索
8. 张志军，“基于机器视觉的摄像机标定方法研究”，《中国机械工程》，2015年第4期。光学工程，第47卷，第47期。第11条第117201条，2008年。视图:出版商的网站|谷歌学术搜索
9. 洪胤，任刚，刘娥，“摄像机标定的非迭代方法”，光学表达，第23卷，第2期。18, pp. 23992-24003, 2015。视图:出版商的网站|谷歌学术搜索
10. 刘军，李勇，“基于空间控制点最优定位的鲁棒摄像机标定，”IEEE仪器仪表与测量汇刊，第63卷，第2期12, pp. 3076-3087, 2014。视图:出版商的网站|谷歌学术搜索
11. Z. Zhang，“一种灵活的摄像机标定新技术”，模式分析与机器智能学报第22卷第2期11，页1330-1334,2000。视图:出版商的网站|谷歌学术搜索
12. 王军，史飞，张建军，“一种新的摄像机镜头畸变标定模型，”模式识别号，第41卷。2, pp. 607-615, 2008。视图:出版商的网站|谷歌学术搜索
13. M. Ahmed和A. Farag，《相机镜头失真的非度量校准:差分方法和稳健估计》，IEEE图像处理汇刊第14卷第2期8，页1215-1230,2005。视图:出版商的网站|谷歌学术搜索
14. C. Ricolfe-Viala和A.-J。Sánchez-Salmerón，“非线性相机镜头失真的稳健度量校准，”模式识别号，第43卷。4, pp. 1688-1699, 2010。视图:出版商的网站|谷歌学术搜索
15. C. Ricolfe-Viala和A.-J。Sanchez-Salmeron，“最佳条件下的相机校准”光学表达第19卷第2期11, pp. 10769-10775, 2011。视图:出版商的网站|谷歌学术搜索
16. 达塔,a . js。Kim，和T. Kanade，“使用控制点的迭代细化精确摄像机校准”IEEE第12届计算机视觉国际会议论文集(ICCV’09)，第1201-1208页，日本京都，2009年10月。视图:出版商的网站|谷歌学术搜索
17. D. Douxchamps和K. Chihara，“用于几何摄像机校准的大型控制标记的高精度和鲁棒定位”，模式分析与机器智能学报第31卷第1期2, pp. 376-383, 2009。视图:出版商的网站|谷歌学术搜索
18. T. Rahman和N. kouglicof，“一种有效的相机校准技术，在大范围的镜头畸变中提供鲁棒性和准确性，”IEEE图像处理汇刊第21卷第2期2, pp. 626-637, 2012。视图:出版商的网站|谷歌学术搜索|MathSciNet
19. “一种用于视觉测量的相机参数优化方法，”光学与激光技术，第44卷，第5期。6，第1840-1849页，2012。视图:出版商的网站|谷歌学术搜索
20. H. Li和R. Hartley，“从九点对应校正透镜畸变的非迭代方法”，刊于iccv研讨会论文集(OmniVision’05), 2005年。视图:谷歌学术搜索
21. A. W.菲茨吉本，《多视点几何和镜头失真的同时线性估计》IEEE计算机学会计算机视觉与模式识别会议论文集，页I125-I132, IEEE，美国夏威夷考艾岛，2001年12月。视图:谷歌学术搜索
22. d·c·布朗，《镜片偏心变形》摄影测量工程与遥感，第24卷，第555-566页，1966年。视图:谷歌学术搜索
23. S. Thirthala和M. Pollefeys，“径向三焦点张量:校准广角相机径向畸变的工具”，发表于IEEE计算机学会计算机视觉与模式识别会议论文集(CVPR’05)，第1卷，第321-328页，IEEE，圣地亚哥，加利福尼亚，美国，2005年6月。视图:出版商的网站|谷歌学术搜索
24. “基于失真估计中心的无参数径向失真校正”IEEE计算机视觉国际会议文集(ICCV’05)，页1834-1841，北京，2005年10月。视图:出版商的网站|谷歌学术搜索
25. 哈特利和齐瑟曼，计算机视觉中的多视图几何，英国剑桥大学出版社，2003年第2版。视图:MathSciNet
26. 魏国强，马思东，“隐式与显式相机标定:理论与实验，”模式分析与机器智能学报，第16卷，第5期。5，页469 - 480,1994。视图:出版商的网站|谷歌学术搜索
27. J. J. More， " Levenberg-Marquardt算法:实现与理论"，刊于数值分析， g.a. Watson, Ed.，第630卷数学课堂讲稿，第105-116页，施普林格，柏林，德国，1977。视图:谷歌学术搜索|MathSciNet
28. M. Higuchi，“精密摄像机校准”http://www.ri.cmu.edu/research_project_detail.html?project_id=617&menu_id=261．视图:谷歌学术搜索

版权

版权所有©2016严坤等。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。