一种立体图像快速三维重建方法与装置

暂无

一种立体图像快速三维重建方法与装置\n技术领域\n[0001] 本发明涉及图像三维重建技术，特别地，涉及一种立体图像快速三维重建方法与装置。\n背景技术\n[0002] 在数字城市技术的自主研发工作中，图像三维重建是一个核心工作，它主要是指以地面移动采集、无人机航拍等方式获取的框幅式序列图像为基础的目标场景三维重建；\n由于数字城市工作数据量巨大、计算复杂，如何快速高效的做好基于图像的目标场景三维重建成为其中的关键问题。计算机视觉中各种三维重建的研究，一般都以图像同名点匹配为重，至于如何从匹配后的密集同名点重建三维点云，则并非研究重点，但随着图像数据量呈几何级数的增加，这方面的计算量会变得过大，占用大量处理时间，缺乏应用价值。\n[0003] 针对现有技术中将匹配后的密集同名点重建三维点云在图像数据量较大时计算\n量过大的问题，目前尚未有有效的解决方案。\n发明内容\n[0004] 针对现有技术中将匹配后的密集同名点重建三维点云在图像数据量较大时计算\n量过大的问题，本发明的目的在于提出一种立体图像快速三维重建方法与装置，能够改变匹配后的密集同名点重建三维点云的计算方式，大幅度缩小在图像数据量较大时实际产生的计算量，大幅度降低计算处理时间，使重建三维点云的方法具有实际应用价值。\n[0005] 基于上述目的，本发明提供的技术方案如下：\n[0006] 根据本发明的一个方面，提供了一种立体图像快速三维重建方法，包括：获取立体观测区域的框幅式序列图像；对框幅式序列图像进行密集像点同名匹配，获得立体观测区域的同名点集；在同名点集中确定空间参考平面与立体图像的内外参数；根据同名点集、空间参考平面与立体图像的内外参数获得同名点集中各点到空间参考平面的离面距离；根据同名点集中每一点到空间参考平面的离面距离，生成三维点云；根据三维点云，对立体观测区域进行三维形貌重建。\n[0007] 其中，根据同名点集、空间参考平面与立体图像的内外参数获得同名点集中各点到空间参考平面的离面距离包括：根据计算机视觉多视几何的单应原理，由同名点集、空间参考平面与立体图像的内外参数计算出指定空间平面的单应矩阵，单应矩阵是自由度为7的3×3矩阵；根据单应矩阵，指定同名点集中任一点，找到同名点集中任一点的同名像点；\n根据空间参考平面，计算同名点集中任一点在参考平面中的单应转移像点；计算同名点集中任一点的同名像点与其对应的单应转移像点相对于给定空间平面的单应二维视差；根据空间参考平面、立体图像的内外参数与单应二维视差，计算出同名点集中任一点到空间参考平面的离面距离；依次指定同名点集中的每一点，计算出同名点集中每一点分别到空间参考平面的多个离面距离。\n[0008] 并且，单应矩阵H为 其中，R′为立体图像\n间的相对旋转矩阵， 为立体图像的基线向量。\n[0009] 并且，空间参考平面π为\n[0010] 并且，对于同名点集中任一点p(xp,yp)在参考平面中的单应转移像点q′(xq′,yq′)，有\n[0011] 并且，同名点集中任一点p(xp,yp)的同名像点p′(xp′,yp′)与其对应的单应转移像点q′(xq′,yq′)相对于给定空间平面的单应二维视差为\n[0012] 具体地，同名点集中各点到空间参考平面的离面距离为：\n[0013]\n[0014] 其中， 为同名点集中各点到空间参考平面的有向矢量线段，d为同名点集中各\n点到空间参考平面的标量离面距离；其中，\n[0015]\n[0016]\n[0017] T1＝(c1(xp-x0)+c2(yp-y0)-c3f)\n[0018] T2＝(a1(xp-x0)+a2(yp-y0)-a3f)\n[0019] T3＝(a1(xp-x0)+a2(yp-y0)-a3f)\n[0020] T4＝(c1(xp-x0)+c2(yp-y0)-c3f)\n[0021] 其中，(x0,y0)与(x0′,y0′)是立体图像的内参数坐标，f与f′是立体图像的内参数等效焦距，a1、a2、a3、c1、c2、c3、a1′、a2′、a3′、c1′、c2′、c3′分别为立体图像的图像旋转矩阵中的对应元素，其中，\n[0022]\n[0023] 上述根据同名点集中每一点到空间参考平面的离面距离生成三维点云包括：根据空间参考平面与立体图像的内外参数，在立体观测区域内建立平面坐标系，计算同名点集中任一点与其同名像点形成的点对在该平面坐标系的对应平面点；以离面距离为高程值进行三维点位平差，并建立立体图像的三维点云片段；对立体图像的相对姿态参数使用ICP算法，将三维点云片段拼接为三维点云。\n[0024] 根据本发明的另一个方面，提供了一种立体图像快速三维重建装置，包括：\n[0025] 采样模块，采样模块获取立体观测区域的框幅式序列图像；\n[0026] 匹配模块，匹配模块对框幅式序列图像进行密集像点同名匹配，获得立体观测区域的同名点集；\n[0027] 定参模块，定参模块在同名点集中确定空间参考平面与立体图像的内外参数；\n[0028] 离面计算模块，离面计算模块根据同名点集、空间参考平面与立体图像的内外参数获得同名点集中各点到空间参考平面的离面距离；\n[0029] 点云生成模块，点云生成模块根据同名点集中每一点到空间参考平面的离面距\n离，生成三维点云；\n[0030] 重建模块，重建模块根据三维点云，对立体观测区域进行三维形貌重建。\n[0031] 在一个较佳实施例中：\n[0032] 根据计算机视觉多视几何的单应原理，由同名点集、空间参考平面与立体图像的内外参数计算出指定空间平面的单应矩阵，单应矩阵是自由度为7的3×3矩阵；\n[0033] 其中，单应矩阵H为 其中，R′为立体图像\n间的相对旋转矩阵， 为立体图像的基线向量；\n[0034] 空间参考平面π为\n[0035] 根据单应矩阵，指定同名点集中任一点p(xp,yp)，找到同名点集中任一点的同名像点p′(xp′,yp′)；对于同名点集中任一点p(xp,yp)在参考平面中的单应转移像点q′(xq′,yq′)，有\n[0036] 同名点集中任一点p(xp,yp)的同名像点p′(xp′,yp′)与其对应的单应转移像点q′(xq′,yq′)相对于给定空间平面的单应二维视差为\n[0037] 同名点集中各点到空间参考平面的离面距离为：\n[0038]\n[0039] 其中， 为同名点集中各点到空间参考平面的有向矢量线段，d为同名点集中各\n点到空间参考平面的标量离面距离；其中，\n[0040]\n[0041]\n[0042] T1＝(c1(xp-x0)+c2(yp-y0)-c3f)\n[0043] T2＝(a1(xp-x0)+a2(yp-y0)-a3f)\n[0044] T3＝(a1(xp-x0)+a2(yp-y0)-a3f)\n[0045] T4＝(c1(xp-x0)+c2(yp-y0)-c3f)\n[0046] 其中，(x0,y0)与(x0′,y0′)是立体图像的内参数坐标，f与f′是立体图像的内参数等效焦距，a1、a2、a3、c1、c2、c3、a1′、a2′、a3′、c1′、c2′、c3′分别为立体图像的图像旋转矩阵中的对应元素，其中，\n[0047]\n[0048] 依次指定同名点集中的每一点，计算出同名点集中每一点分别到空间参考平面的多个离面距离。\n[0049] 从上面所述可以看出，本发明提供的技术方案通过使用立体图像密集匹配获得的同名点集、并根据立体图像同名点二维视差纯线性计算点到平面距离的技术手段，能够在不影响计算效果的前提下显著降低计算量与计算难度，提高计算效率，使快速重建三维点云成为可能。\n附图说明\n[0050] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。\n[0051] 图1为根据本发明实施例的一种立体图像快速三维重建方法的流程图；\n[0052] 图2为根据本发明实施例的一种立体图像快速三维重建方法的离面距离计算建模\n示意图；\n[0053] 图3为根据本发明实施例的一种立体图像快速三维重建装置的结构图。\n具体实施方式\n[0054] 为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进一步进行清楚、完整、详细地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。\n[0055] 根据本发明的实施例，提供了一种立体图像快速三维重建方法。\n[0056] 如图1所示，根据本发明实施例提供的立体图像快速三维重建方法包括：\n[0057] 步骤S101，获取立体观测区域的框幅式序列图像；\n[0058] 步骤S103，对框幅式序列图像进行密集像点同名匹配，获得立体观测区域的同名点集；\n[0059] 步骤S105，在同名点集中确定空间参考平面与立体图像的内外参数；\n[0060] 步骤S107，根据同名点集、空间参考平面与立体图像的内外参数获得同名点集中各点到空间参考平面的离面距离；\n[0061] 步骤S109，根据同名点集中每一点到空间参考平面的离面距离，生成三维点云；\n[0062] 步骤S111，根据三维点云，对立体观测区域进行三维形貌重建。\n[0063] 其中，根据同名点集、空间参考平面与立体图像的内外参数获得同名点集中各点到空间参考平面的离面距离包括：\n[0064] 根据计算机视觉多视几何的单应原理，由同名点集、空间参考平面与立体图像的内外参数计算出指定空间平面的单应矩阵，单应矩阵是自由度为7的3×3矩阵；\n[0065] 根据单应矩阵，指定同名点集中任一点，找到同名点集中任一点的同名像点；\n[0066] 根据空间参考平面，计算同名点集中任一点在参考平面中的单应转移像点；\n[0067] 计算同名点集中任一点的同名像点与其对应的单应转移像点相对于给定空间平\n面的单应二维视差；\n[0068] 根据空间参考平面、立体图像的内外参数与单应二维视差，计算出同名点集中任一点到空间参考平面的离面距离；\n[0069] 依次指定同名点集中的每一点，计算出同名点集中每一点分别到空间参考平面的多个离面距离。\n[0070] 在获得立体观测区域的同名点集后，传统方式是基于共线方程的、以交会平差的方式计算三维点云。这种计算方法的计算量很大，特别是在讨论同名像点的定位误差时，需要用平差法消除观测中的冗余，而平差法要进行矩阵迭代运算，同名点集的线性增长会导致平差法计算量的几何级数增长。\n[0071] 根据计算机视觉多视几何的单应原理，可由立体图像的内外参数与空间参考平面计算给定空间平面的单应矩阵H。单应矩阵H为\n其中，R′为立体图像间的相对旋转矩阵， 为立体图像的基线向量。其空间参\n考平面π为\n[0072] 对于同名点集中任一点p(xp,yp)，存在一参考平面中的单应转移像点q′(xq′,yq′)。\n对于同名点集中任一点p(xp,yp)在参考平面中的单应转移像点q′(xq′,yq′)，有\n[0073] 令p(xp,yp)与p′(xp′,yp′)是立体图像中的一对同名像点，可得同名点集中任一点p(xp,yp)的同名像点p′(xp′,yp′)与其对应的单应转移像点q′(xq′,yq′)相对于给定空间平面的单应二维视差为\n[0074] 根据空间参考平面、立体图像的内外参数与单应二维视差，可得同名点集中任一点到空间参考平面的离面距离为：\n[0075]\n[0076] 其中， 为同名点集中各点到空间参考平面的有向矢量线段，d为同名点集中各\n点到空间参考平面的标量离面距离；其中，\n[0077]\n[0078]\n[0079] T1＝(c1(xp-x0)+c2(yp-y0)-c3f)\n[0080] T2＝(a1(xp-x0)+a2(yp-y0)-a3f)\n[0081] T3＝(a1(xp-x0)+a2(yp-y0)-a3f)\n[0082] T4＝(c1(xp-x0)+c2(yp-y0)-c3f)\n[0083] 其中，(x0,y0)与(x0′,y0′)是立体图像的内参数坐标，f与f′是立体图像的内参数等效焦距，a1、a2、a3、c1、c2、c3、a1′、a2′、a3′、c1′、c2′、c3′分别为立体图像的图像旋转矩阵中的对应元素，其中，\n[0084]\n[0085] 图2示出的是离面距离的计算模型。如图2所示，p表示同名点集中任取的一个成像点S的特征像点(也可表示为q)，特征像点p从属于成像点S所在的影像平面xy。在具有绝对尺度的三维图像基线向量 中，影像平面xy中的成像点S与另一影像平面x'y'中的另一成\n像点S'建立了对应关系，在影像平面x'y'中存在两个对应于特征像点p的点：特征像点p的同名点p'，与特征像点p的单应转移点q'。 交空间参考平面π于点Q，且点Q在 上；\n交 于点P, 即为同名点集中各点到空间参考平面的有向矢量线段；点P在空间参\n考平面π上的投影为P'， 即为点P到空间参考平面π的标量离面距离。\n[0086] 上述根据同名点集中每一点到空间参考平面的离面距离生成三维点云包括：根据空间参考平面与立体图像的内外参数，在立体观测区域内建立平面坐标系，计算同名点集中任一点与其同名像点形成的点对在该平面坐标系的对应平面点；以离面距离为高程值进行三维点位平差，并建立立体图像的三维点云片段；对立体图像的相对姿态参数使用ICP算法，将三维点云片段拼接为三维点云。\n[0087] 根据本发明的实施例，又提供了一种立体图像快速三维重建装置。\n[0088] 如图3所示，根据本发明的实施例提供的一种立体图像快速三维重建装置，包括：\n[0089] 采样模块31，采样模块31获取立体观测区域的框幅式序列图像；\n[0090] 匹配模块32，匹配模块32对框幅式序列图像进行密集像点同名匹配，获得立体观测区域的同名点集；\n[0091] 定参模块33，定参模块33在同名点集中确定空间参考平面与立体图像的内外参\n数；\n[0092] 离面计算模块34，离面计算模块34根据同名点集、空间参考平面与立体图像的内外参数获得同名点集中各点到空间参考平面的离面距离；\n[0093] 点云生成模块35，点云生成模块35根据同名点集中每一点到空间参考平面的离面距离，生成三维点云；\n[0094] 重建模块36，重建模块36根据三维点云，对立体观测区域进行三维形貌重建。\n[0095] 根据计算机视觉多视几何的单应原理，由同名点集、空间参考平面与立体图像的内外参数计算出指定空间平面的单应矩阵，单应矩阵是自由度为7的3×3矩阵；\n[0096] 其中，单应矩阵H为 其中，R′为立体图像\n间的相对旋转矩阵， 为立体图像的基线向量；\n[0097] 空间参考平面π为\n[0098] 根据单应矩阵，指定同名点集中任一点p(xp,yp)，找到同名点集中任一点的同名像点p′(xp′,yp′)；对于同名点集中任一点p(xp,yp)在参考平面中的单应转移像点q′(xq′,yq′)，有\n[0099] 同名点集中任一点p(xp,yp)的同名像点p′(xp′,yp′)与其对应的单应转移像点q′(xq′,yq′)相对于给定空间平面的单应二维视差为\n[0100] 同名点集中各点到空间参考平面的离面距离为：\n[0101]\n[0102] 其中， 为同名点集中各点到空间参考平面的有向矢量线段，d为同名点集中各\n点到空间参考平面的标量离面距离；其中，\n[0103]\n[0104]\n[0105] T1＝(c1(xp-x0)+c2(yp-y0)-c3f)\n[0106] T2＝(a1(xp-x0)+a2(yp-y0)-a3f)\n[0107] T3＝(a1(xp-x0)+a2(yp-y0)-a3f)\n[0108] T4＝(c1(xp-x0)+c2(yp-y0)-c3f)\n[0109] 其中，(x0,y0)与(x0′,y0′)是立体图像的内参数坐标，f与f′是立体图像的内参数等效焦距，a1、a2、a3、c1、c2、c3、a1′、a2′、a3′、c1′、c2′、c3′分别为立体图像的图像旋转矩阵中的对应元素，其中，\n[0110]\n[0111] 依次指定同名点集中的每一点，计算出同名点集中每一点分别到空间参考平面的多个离面距离。\n[0112] 综上所述，借助于本发明的上述技术方案，通过使用立体图像密集匹配获得同名点集，并基于立体图像同名点二维视差计算离面距离以进行快速三维点云重建。本发明的重建方法与现有技术中的交会平差、以及点到平面距离计算方法的结果完全等价，但在消除交会平差、矩阵迭代造成的计算量上，本发明使用低计算量的线性运算取代现有技术的矩阵迭代计算，显著降低了计算量，减少了计算消耗时间，提高了计算效率，并使快速重建三维点云成为可能，且具有一定的实时计算能力。\n[0113] 所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。