一种基于图像序列的城市街区的快速建模方法

暂无

技术领域\n本发明涉及一般基于图像/视频数据三维重构的方法，尤其是涉及一种基于图像序列的城市街区的快速建模方法。\n背景技术\n当前通用的城市三维建模理论和方法：\n1、人工交互式建模：利用3ds max等建模工具构建建筑物的几何模型，并利用Photoshop等图像处理工具对采集来的纹理数据进行编辑得到理想的纹理。该方法仍然是当前最可靠最实用的城市建模方式，但费时费力，效率不高。\n2、摄影测量法，如商业软件Photomodeler等，从各个方向对目标物体进行拍摄，并在不同视点图像上选取确定对应的点、线等信息，而后利用摄影测量学原理获取目标物体的三维模型。该方法仍然需要大量的交互。\n3、利用硬件设备同时获取建筑物几何和纹理的方法：通过雷达或激光扫描仪获取建筑物的三维信息，同时利用相机获得建筑物侧立面纹理，参见Jinhui Hu，Suya You，Ulrich Neumann.Integrating LiDAR，Aerial Image and Ground Images forComplete Urban Building Modeling.3DPVT 2006：184-191和A.Zakhor and C.Frueh，″Automatic 3D Modeling of Cities with Multimodal Air and Ground Sensors″in Multimodal Surveillance，Sensors，Algorithms and Systems，Z.Zhu and T.S.Huang，Editors，Artech House，2007，Chapter 15，pp.339-362。该方法能够得到精确的模型，但采集设备比较复杂，造价高。\n4、基于计算机视觉的三维重建法方：如Marc Pollefeys，David Nistér等人的Detailed Real-Time Urban 3D Reconstruction from Video.International Journal ofComputer Vision 78(2-3)：143-167(2008)，能够自动得到建筑物精细的三维模型，但模型面片过多，不利于大规模城市场景的绘制。\n发明内容\n针对现有技术的不足，本发明的目的在于提供一种基于图像序列的城市街区的快速建模方法，结合建筑物顶视图(航拍图、Google earth图像、城市规划图等)和建筑物侧立面图像序列的城市建模方法，该方法成本低，交互便捷，对于大部分目标建筑都能获得满足大规模场景绘制需求的三维模型。\n为了达到上述目的，本发明采用的技术方案的步骤如下：\na)从航拍图像或城市规划图顶视图上抽取建筑物的水平轮廓线，记录每个水平轮廓线线段上每个顶点的经度、纬度；\nb)利用安装固定在移动平台上的固定焦距的摄像机对建筑物侧立面进行连续拍摄同时记录下每个拍摄时刻摄像机位置、镜头朝向；\nc)对于每个建筑物水平轮廓线上的每一条线段，从建筑物侧立面图像数据中选取对应的图像序列，这个对应图像序列完全包括了水平轮廓线线段对应的建筑物侧立面的信息；\nd)对于每个建筑物水平轮廓线上的每一条线段，利用对应图像序列生成该水平轮廓线线段所对应的建筑物侧立面的正射影像图；\ne)在对应于水平轮廓线每条线段的建筑物侧立面的正射影像图上，抽取出建筑物的侧立面轮廓线，确定侧立面轮廓线上每顶点的经度、纬度，估计侧立面轮廓线上每个顶点的高度，同时保存每一个顶点在正射影像图上的象素位置坐标；\nf)将每个建筑物的所有侧立面轮廓线和水平轮廓线的顶点进行连接，形成三维的多边形网格模型，并且模型的每一个表示建筑物侧立面的多边形都有该建筑物立面的正射影像图作为纹理。\n所述步骤c)中，对于每个建筑物水平轮廓线上的每一条线段，从建筑物侧立面图像数据中选取对应的图像序列的方法，利用步骤b)中获得的每张建筑物侧立面图像拍摄时刻的摄像机位置、镜头朝向，结合摄像机固定的水平张角和估计的景深，确定出每个拍摄时刻摄像机的水平取景范围，同时建筑物水平轮廓线线段端点的经度、纬度信息已知，从所有侧立面图像序列中筛选出水平取景范围包含或部分包含建筑物水平轮廓线线段的侧立面图像，得到该建筑物水平轮廓线线段对应的图像序列。\n所述估计侧立面轮廓线上每个顶点的高度，在侧立面正射影像图上，选取侧立面轮廓线上两个顶点，这两个顶点就是该立面所对应的水平轮廓线线段上的两个端点，计算这两个顶点的象素水平距离，同时根据它们的经度、纬度差计算出它们在地球坐标系上的球面距离，计算球面距离与象素距离的比值，得到图像上每个象素代表的球面距离，以侧立面轮廓线的最低点为高度零点，计算每个顶点的象素高度，再乘以每象素代表的球面距离，得到顶点在地球坐标系上的高度。\n本发明与背景技术相比，具有的有益效果是：\n本发明针对以往城市建模中制作方法昂贵，交互复杂，耗时耗力，模型面片过多的缺点，提出了一种针对一般城市建筑的一种基于图像序列的城市建模新思路。本方法不需要特殊昂贵的硬件设备，且交互方式简单，数据采集方式也极其方便。\n附图说明\n图1是本发明的方法的六步骤的流程图。\n图2是本发明应用的某个具体例子图。\n具体实施方式\n下面结合图示附图和实施例对本发明作进一步说明。\n本发明提出了一种高效快速的城市建模的方法，包括六步骤：首先，从航拍图像或城市规划图等顶视图上抽取建筑物水平轮廓信息；同时利用摄像机获取建筑物侧立面图像序列并记录每个拍摄时刻摄像机位置、镜头朝向，其次确定建筑物水平轮廓线线段和建筑物侧立面图像序列之间的对应；然后利用侧立面图像序列生成建筑物侧立面正射影像图，接着在正射影像图上确定侧立面轮廓线、计算建筑物侧立面高度，最后综合建筑物水平轮廓线和侧立面轮廓线的几何、纹理信息得到完整三维模型。\n具体流程如图1所示，现具体介绍每一步的实现细节：\n1、利用Canny边缘检测和Hough变换对顶视图进行预处理，得到初始的建筑物轮廓，然后对结果不理想的部分交互修正，得到闭合的轮廓线(如图2(a)的“L”形多边形，它表示的是某个建筑物的水平轮廓线)。记录每个轮廓线的顶点经纬度，这些轮廓线位置与距离信息将完全确定三维建筑模型的绝对位置、水平结构，并且某些线段长度还将用来计算建筑物侧立面的高度。\n2、利用安装固定在移动平台上的固定焦距的摄像机对建筑物侧立面进行连续拍摄同时记录下每个拍摄时刻摄像机位置、镜头朝向。利用移动平台上的摄像机对建筑物侧立面进行连续拍照，并利用全球定位装置对每一张图像拍摄时刻的摄像机位置进行测量，记录摄像机中心点的经度、纬度。同时，根据摄像机固定安装在移动平台上的位置关系，以及移动平台运动方向，计算得到在每一张图像拍摄时刻的摄像机镜头中轴线的方向。\n3、从所有立面图像序列中筛选出水平取景范围包含或部分包含建筑物水平轮廓线线段的图像，得到该建筑物水平轮廓线线段对应的图像序列(如图2(b)的四张侧立面图像就是水平轮廓线中的线段PQ对应的图像序列)。\n4、获取建筑物侧立面的正射影像图。将建筑物水平轮廓线线段沿地面法向拉伸得到一个垂直于地面的平面，以该平面为投影平面，将对应图像序列的各张图像沿摄像机视点投影到该投影平面，投影后得到的图像会有重叠区域，对这些重叠的区域，像素取值为该位置各图像像素的中值。这样我们就可以将投影后的图像进行合并，得到一张完整的建筑物侧立面的正射影像图(如图2(c)就是由2(b)的四张侧立面图像序列得到的正射影像图)。\n5、在对应于水平轮廓线线段的建筑物侧立面的正射影像图上，抽取出建筑物的侧立面轮廓线，确定侧立面轮廓线上每个顶点的经度、纬度，并计算侧立面轮廓线上每个顶点的高度(如图2(d)表示的是从图2(c)正射影像图中抽取的侧立面轮廓线，其中顶点p、q分别和图2(a)水平轮廓线的顶点P、Q对应，p、q两点的经纬度分别取为P、Q的经纬度值，侧立面轮廓线上的其他顶点的经纬度通过线性插值得到)。因为我们的建筑物侧立面纹理拼接是考虑到真实场景的几何结构的，所以我们有如下的高度计算方法：选取轮廓线上两个顶点(如图2(d)中的p、q两点)，这两个顶点在水平轮廓线上存在对应端点。计算这两个顶点的象素水平距离，以象素为单位。同时根据它们的经度、纬度差计算出它们在地球坐标系上的球面距离，以米为单位。计算球面距离与象素距离的比值，得到图像上每象素代表的球面距离。以侧立面轮廓线的最低点为高度零点，计算每个顶点的象素高度，再乘以每象素代表的球面距离，得到顶点在地球坐标系上的高度。同时还保存每一个顶点在正射影像图上的象素位置坐标，称为该顶点的纹理坐标。\n6、构造三维模型。因为建筑物侧立面是垂直于建筑物的水平轮廓线所在平面的，以建筑物水平轮廓线所在平面为底面，将建筑物各侧立面的多边形轮廓线拼接合并到对应的水平轮廓线线段上(如图2(d)侧立面轮廓线中的线段pq和图2(a)中水平轮廓线的线段PQ合并为一条线段)，且保持侧立面轮廓线所在平面垂直于底面，同时根据步骤5保存的侧立面轮廓线顶点像素坐标将对应的正射影像图映射到侧立面轮廓线确定的多边形上。这样每个建筑物侧立面都有正射影像图作为纹理。最后将各侧立面轮廓线的上边缘连接得到空间多边形并将其三角网格化，得到建筑物的顶面网格。