全景地图数据库采集系统及基于视觉的定位、导航方法

1.一种全景地图数据库采集系统，其特征在于，包括：全景相机、测距仪、数据处理器和实景播放装置，其中数据处理器包括图像处理模块；
全景相机扫描周围景象，得到的图像经图像处理模块处理后生成扫描区域的实景地图；
全景相机扫描周围景象的同时，在实景播放装置上实时显示生成的全景地图；
数据采集人员通过实景播放装置，在显示的全景地图上选中入库图像；实景播放装置采用马尔科夫链方法记录选中的入库图像在全景地图上的位置数据，并将入库图像及其在全景地图上的位置数据传送到数据处理器；
测距仪在数据采集人员选中入库图像的同时，测量此时全景相机与真实场景中的入库图像的距离；
所述数据处理器将入库图像、入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离、入库图像在全景地图上的位置数据及实景地图打包传送到网络服务器端进行存储。
2.如权利要求1所述的系统，其特征在于，所述数据处理器还包括特征点提取模块，用于提取所述入库图像的特征点；
此时，所述数据处理器将入库图像特征点、入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离、入库图像在全景地图上的位置数据及实景地图打包传送到网络服务器端进行存储。
3.一种用户位置定位方法，其特征在于，包括:
用户携带的智能终端读取GPS信号或WIFI信号或基站信号，确定用户所在的片区位置，并从网络服务器端下载该片区全景地图相关数据，所述该片区全景地图相关数据包括该片区全景地图、入库图像的特征点、各入库图像在全景地图上的位置数据和各入库图像的像素值、采集入库图像的全景相机参数、采集入库图像时全景相机与真实场景中的入库图像的距离；
用智能终端摄像机捕获用户位置附近的标志性图像；
在该片区全景地图相关数据中搜索与所述标志性图像匹配的入库图像，得到与所述标志性图像匹配的入库图像在全景地图上的位置数据；
将所述标志性图像与其匹配成功的入库图像进行配准，计算单应性矩阵；
根据所述单应性矩阵，计算智能终端摄像机与所述标志性图像之间的角度；
根据所述单应性矩阵的逆矩阵及所述标志性图像匹配的入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离，计算智能终端摄像机与所述标志性图像之间的距离；
根据智能终端摄像机与所述标志性图像之间的角度、距离及所述标志性图像匹配的入库图像在全景地图上的位置数据，得到用户当前位置数据。
4.一种基于视觉定位的导航方法，其特征在于，包括：
用户携带的智能终端读取GPS信号或WIFI信号或基站信号，确定用户所在的片区位置，并从网络服务器端下载该片区相关地图数据，该片区相关地图数据包括该片区全景地图和/或电子地图、所有入库图像的特征点、各入库图像在全景地图上的位置数据和各入库图像的像素值、采集入库图像的全景相机参数、采集入库图像时全景相机与真实场景中的入库图像的距离；
用智能终端摄像机捕获用户位置附近的标志性图像；
在该片区全景地图相关数据中搜索与所述标志性图像匹配的入库图像，得到入库图像在全景地图上的位置数据；
将所述标志性图像与其匹配成功的入库图像进行配准，计算单应性矩阵；
根据所述单应性矩阵，计算智能终端摄像机与所述标志性图像之间的角度；
根据所述单应性矩阵的逆矩阵及所述标志性图像匹配的入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离，计算智能终端摄像机与所述标志性图像之间的距离；
根据智能终端摄像机与所述标志性图像之间的相对位置关系，及入库图像在全景地图上的位置数据，计算得到用户当前位置数据；
根据用户当前位置数据、用户设定的目标位置，计算用户从当前位置到目标位置的最短路线，并将计算出的最短路线在电子地图上显示或用虚拟箭头结合实景地图给予提示。
5.如权利要求4所述的方法，其特征在于，在用户移动过程中，根据智能终端内置传感器的检测数据，计算用户的方向和位移，实时更新用户的位置与姿态，对用户进行实时跟踪导航。
6.如权利要求5所述的方法，其特征在于，所述智能终端内置传感器包括陀螺仪和加速度计。
7.如权利要求6所述的方法，其特征在于，在用户移动过程中，可随时重新拍摄附近的标志性图像，以校正用户当前位置数据。
8.如权利要求4至7中任一项所述的方法，其特征在于，所述标志性图像为店铺LOGO、海报、广告图像中的一种或多种。

全景地图数据库采集系统及基于视觉的定位、导航方法\n技术领域\n[0001] 本发明涉及导航定位领域，尤其涉及全景地图数据库采集系统及基于视觉的定位、导航方法。\n背景技术\n[0002] 近年来，LBS（Location Based Service，基于位置的服务）应用逐渐成为热点，导航技术发展迅速。GPS定位在室外定位导航能够为用户提供诸多辅助信息，但其也存在明显的缺陷，即在室内环境中，GPS定位速度极慢，且精度低，甚至无法完成定位。室内导航技术逐渐成为研究热点，现有技术中，室内导航技术主要使用无线WIFI、射频识别、地磁场等技术进行定位。\n[0003] 随着科技的不断进步，人们总是期待更新颖，更优体验感的定位导航技术出现。\n发明内容\n[0004] 本发明的目的是提供一种全景地图数据库采集系统及基于视觉的定位、导航方法，用户用手机拍摄周围的标志性图像即可完成自身位置定位，实现实景地图导航，是一种定位准确、体验新奇的新型导航方式。本发明即可适用于室外，也可适用于室内，在室内环境中效果尤其明显。\n[0005] 为了实现上述发明目的，本发明提供了一种全景地图数据库采集系统，包括：全景相机、测距仪、数据处理器和实景播放装置，其中数据处理器包括图像处理模块；\n[0006] 全景相机扫描周围景象，得到的图像经图像处理模块处理后生成扫描区域的实景地图；\n[0007] 全景相机扫描周围景象的同时，在实景播放装置上实时显示生成的全景地图；\n[0008] 数据采集人员通过实景播放装置，在显示的全景地图上选中入库图像；实景播放装置记录选中的入库图像在全景地图上的位置数据，并将入库图像及其在全景地图上的位置数据传送到数据处理器；\n[0009] 测距仪在数据采集人员选中入库图像的同时，测量此时全景相机与真实场景中的入库图像的距离；\n[0010] 所述数据处理器将入库图像、入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离、入库图像在全景地图上的位置数据及实景地图打包传送到网络服务器端进行存储。\n[0011] 优选的，所述数据处理器还包括特征点提取模块，用于提取所述入库图像的特征点；此时，所述数据处理器将入库图像特征点、入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离、入库图像在全景地图上的位置数据及实景地图打包传送到网络服务器端进行存储。\n[0012] 相应的，本发明还提供了一种用户位置定位方法，包括:\n[0013] 用户携带的智能终端读取GPS信号或WIFI信号或基站信号，确定用户所在的片区位置，并从网络服务器端下载该片区全景地图相关数据，所述该片区全景地图相关数据包括该片区全景地图、入库图像的特征点、各入库图像在全景地图上的位置数据和各入库图像的像素值、采集入库图像的全景相机参数、采集入库图像时全景相机与真实场景中的入库图像的距离；\n[0014] 用智能终端摄像机捕获用户位置附近的标志性图像；\n[0015] 在该片区全景地图相关数据中搜索与所述标志性图像匹配的入库图像，得到与所述标志性图像匹配的入库图像在全景地图上的位置数据；\n[0016] 将所述标志性图像与其匹配成功的入库图像进行配准，计算单应性矩阵；\n[0017] 根据所述单应性矩阵，计算智能终端摄像机与所述标志性图像之间的角度；\n[0018] 根据所述单应性矩阵的逆矩阵及所述标志性图像匹配的入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离，计算智能终端摄像机与所述标志性图像之间的距离；\n[0019] 根据智能终端摄像机与所述标志性图像之间的角度、距离及所述标志性图像匹配的入库图像在全景地图上的位置数据，得到用户当前位置数据。\n[0020] 相应的，本发明还提供了一种基于视觉定位的导航方法，包括：\n[0021] 用户携带的智能终端读取GPS信号或WIFI信号或基站信号，确定用户所在的片区位置，并从网络服务器端下载该片区相关地图数据；\n[0022] 用智能终端摄像机捕获用户位置附近的标志性图像；\n[0023] 在该片区全景地图相关数据中搜索与所述标志性图像匹配的入库图像，得到入库图像在全景地图上的位置数据；\n[0024] 将所述标志性图像与其匹配成功的入库图像进行配准，得到智能终端摄像机与所述标志性图像之间的相对位置关系；\n[0025] 根据智能终端摄像机与所述标志性图像之间的相对位置关系，及入库图像在全景地图上的位置数据，计算得到用户当前位置数据；\n[0026] 根据用户当前位置数据、用户设定的目标位置，计算用户从当前位置到目标位置的最短路线，并将计算出的最短路线在电子地图上显示或用虚拟箭头结合实景地图给予提示。\n[0027] 其中，所述该片区相关地图数据包括该片区全景地图和/或电子地图、所有入库图像的特征点、各入库图像在全景地图上的位置数据和各入库图像的像素值、采集入库图像的全景相机参数、采集入库图像时全景相机与真实场景中的入库图像的距离。\n[0028] 其中，将所述标志性图像与其匹配成功的入库图像进行配准，得到智能终端摄像机与所述标志性图像之间的相对位置关系，具体包括：\n[0029] 将所述标志性图像与其匹配成功的入库图像进行配准，计算单应性矩阵；\n[0030] 根据所述单应性矩阵，计算智能终端摄像机与所述标志性图像之间的角度；\n[0031] 根据所述单应性矩阵的逆矩阵及所述标志性图像匹配的入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离，计算智能终端摄像机与所述标志性图像之间的距离。\n[0032] 优选的，在用户移动过程中，根据智能终端内置传感器的检测数据，计算用户的方向和位移，实时更新用户的位置与姿态，对用户进行实时跟踪导航。\n[0033] 优选的，所述智能终端内置传感器包括陀螺仪和加速度计。\n[0034] 优选的，在用户移动过程中，可随时重新拍摄附近的标志性图像，以校正用户当前位置数据。\n[0035] 优选的，所述标志性图像为店铺LOGO、海报、广告图像中的一种或多种。\n[0036] 与现有技术相比，本发明具有如下有益效果：\n[0037] 1、本发明使用基于图像的识别、配准来进行用户位置的定位，精度更高；\n[0038] 2、本发明采用全景地图导航方式，给用户最直观的实景导航体验，能极大提高用户体验度。\n附图说明\n[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：\n[0040] 图1为本发明实施例在一个商场内从采集数据到定位导航的整个过程的数据流示意图。\n具体实施方式\n[0041] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。\n[0042] 本发明采用基于图像识别的定位技术对用户自身位置进行定位，并根据路由算法找到用户当前位置到用户所选定的目标位置的最短路线，将计算出的最短路线在电子地图上显示或用虚拟箭头结合实景地图给予提示。\n[0043] 由于本发明采用基于图像识别的定位技术，而通常大型商场、购物中心的室内均分布着大量店铺LOGO、海报、广告宣传图片等标志性图像，因此本发明非常适用于室内定位与导航。\n[0044] 由于本发明技术的特殊性，需要相应的配套数据才能完成，如：图像识别需要预先对可进行识别的图片建立特征样本数据库；以全景地图的方式导航，则需要预先生成全景地图。因此本发明首先提出了一种全景地图数据库采集系统，以采集本发明基于视觉定位导航需求的区域数据，即本发明全景地图数据库采集系统与本发明用户位置定位方法、基于视觉定位的导航方法配套。\n[0045] 本发明提供的全景地图数据库采集系统包括：全景相机、测距仪、数据处理器和实景播放装置，其中数据处理器包括图像处理模块；测距仪可安装于全景相机摄像头附近，由于全景相机摄像头不止一个，测距仪也可以为多个。全景相机、测距仪和实景播放装置均与数据处理器数据连接。本发明实施例中的测距仪可以为红外测距仪，也可以为激光测距仪。\n[0046] 全景相机在工作时，是通过选择定点的方式扫描周围场景，然后再到离上一个定点不太远的另一个定点扫描周围场景，图像处理模块根据两场景扫描的重合部分将扫描图像拼接成全景图像，以此类推，将所有扫描点的图像拼接即可得到整个扫描区域的全景图像。\n[0047] 下面以采集一个大型商场室内数据为例，说明本发明全景地图数据库采集系统是如何工作的。\n[0048] 全景相机逐层扫描商场室内景象，得到的大量图像经图像处理模块处理后生成扫描区域的实景地图，比如扫描商场第一层时，生成第一层的实景地图，当商场整栋楼都扫描完成后，将各层实景地图拼接称为整栋商场的室内实景地图；全景相机扫描商场室内景象的同时，在实景播放装置上实时显示生成的全景地图，此实景播放装置是经过特殊设计的，其具备触摸屏框图及记录入库图像在全景地图上的位置数据等功能，全景相机在采集每一个点的时候，数据采集人员通过实景播放装置，在显示的该点全景地图上选中入库图像，实景播放装置记录选中的入库图像在全景地图上的位置数据，并将入库图像及其在全景地图上的位置数据传送到数据处理器；测距仪在数据采集人员选中入库图像的同时，测量此时全景相机与真实场景中的入库图像的距离；所述数据处理器将入库图像、入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离、入库图像在全景地图上的位置数据及实景地图打包传送到网络服务器端进行存储。\n[0049] 由于直接将入库图像传到网络服务器端，不但数据量大，而且网络服务器端还需要对其进行一个单独的特征点提取处理，因此优选方式为：入库图片特征提取在数据处理器处完成，即在所述数据处理器内设置一用于提取所述入库图像的特征点的特征点提取模块，此时，所述数据处理器将入库图像特征点、入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离、入库图像在全景地图上的位置数据及实景地图打包传送到网络服务器端进行存储。\n[0050] 实景播放装置记录选中的入库图像在全景地图上的位置数据，可以通过如下两种方式之一确定：\n[0051] 1）事先测量一遍各标志性图像在商场内的精确位置，标记到商场室内平面电子地图上；将入库图像在平面电子地图上的坐标位置记录为入库图像在全景地图上的位置数据；\n[0052] 2）实景播放装置以本商场第一个入库图像为参照位置，以第二入库图像与第一入库图像的相对位置来确定第二入库图像位置，以第三入库图像与第二入库图像的相对位置来确定第三入库图像的位置，以此类推，记录每个入库图像在全景地图上的位置数据，此种方式计算各入库图像的位置可采用马尔科夫链方法。\n[0053] 在该商场完成全景地图数据库采集后，用户在走进该商场时，即可体验视觉定位、导航功能。\n[0054] 下面介绍本发明实施例用户位置定位方法及基于视觉定位的导航方法，这两种方法均以用户智能终端为客户端，通过无线网络与远程网络服务器端连接，网络服务器端存储着各片区（一个片区可以为一个独立的商场或一个商圈）全景地图相关数据，所述全景地图相关数据是通过上述全景地图数据库采集系统采集完成的。用户智能终端指手机或PAD等电子设备，该用户终端内安装有采用本发明定位、导航方法的客户端系统。\n[0055] 下面同样以一个商场室内为例，介绍本发明实施例用户位置定位方法，包括如下步骤：\n[0056] A1：用户在商场外或进入商场后，在智能终端中打开装本发明定位功能的应用，智能终端读取GPS信号或WIFI信号或基站信号，确定用户所在的商场位置（GPS、WIFI或基站信号虽然不是很精确，但是定位一座大型商场是完全可以实现的），并从网络服务器端下载该商场全景地图相关数据，所述该商场全景地图相关数据包括该商场全景地图、入库图像或入库图像的特征点、各入库图像在全景地图上的位置数据和各入库图像的像素值、采集入库图像的全景相机参数、采集入库图像时全景相机与真实场景中的入库图像的距离；\n[0057] A2：用智能终端摄像机捕获用户位置附近的标志性图像，所述标志性图像可以为店铺LOGO、海报、广告图像等；\n[0058] A3：在该商场全景地图相关数据中搜索与所述标志性图像匹配的入库图像，得到与所述标志性图像匹配的入库图像在全景地图上的位置数据；本步骤首先要对A2步骤捕获的标志性图像进行特征点提取，用特征点匹配的方式进行图像匹配；\n[0059] A4：将所述标志性图像与其匹配成功的入库图像进行配准，计算单应性矩阵；\n[0060] A5：根据所述单应性矩阵，计算智能终端摄像机与所述标志性图像之间的角度；\n[0061] A6：根据所述单应性矩阵的逆矩阵及所述标志性图像匹配的入库图像的像素值、全景相机参数、全景相机与真实场景中的入库图像的距离，计算智能终端摄像机与所述标志性图像之间的距离；\n[0062] A7：根据智能终端摄像机与所述标志性图像之间的角度、距离及所述标志性图像匹配的入库图像在全景地图上的位置数据，得到用户当前位置数据。\n[0063] 用户位置定位结果可运用于多方面，比如导航起点自动定位，也可单独使用，比如在商场与朋友碰面，希望告诉朋友你的确切位置，而自己却不是很清楚处于什么位置，则可以通过本方法拍摄周围店铺LOGO或海报的方式得到自己当前位置，可将得到的当前位置通过一些分享应用分享给朋友。\n[0064] 下面实施例介绍基于视觉定位的导航方法，包括：\n[0065] 根据上述户位置定位方法，得到用户当前位置数据；\n[0066] 根据用户当前位置数据、用户设定的目标位置，计算用户从当前位置到目标位置的最短路线，包括路线中的每个转向点，并将计算出的最短路线在电子地图上显示或用虚拟箭头结实景地图给予提示，在用户移动过程中，根据智能终端内置传感器的检测数据，计算用户的方向和位移，实时更新用户的位置与姿态，对用户进行实时跟踪导航。所述智能终端内置传感器包括陀螺仪和加速度计。最短路线计算可采用典型的单源最短路径算法Dijkstra算法。\n[0067] 由于系统误差，通过三轴角速度和线性加速度来计算用户的方向和位移，累计误差将随着时间的推移逐渐增大，用户可以重新拍摄附近店铺Logo等其他标志性图像，识别、配准来校正用户的当前位置及方向，修正导航线路。\n[0068] 本发明实施例中，若需要将最短路线在电子地图上显示，则智能终端从网络服务器端下载该片区全景地图相关数据时，需将该片区电子地图也下载下来。\n[0069] 在大型商场内，我们一般将各个商店的LOGO图像入库，参见图1，为本发明实施例在一个商场内从采集数据，到定位导航的整个过程的数据流示意图。\n[0070] 首先，数据录入人员带上本发明的全景地图数据库采集系统到该商场实地采集数据，将采集的商场内部数据存储于网络服务器端；\n[0071] 当用户进入该商场，启动应用，智能终端利用GPS信号或WIFI信号或基站信号确定用户的大致初始位置，根据这个初始位置能确定用户处于哪个商场，并从网络服务器端下载该商场相关数据至本地；\n[0072] 用户打开智能终端摄像头，对准商场内任一店铺的LOGO图像进行拍摄，经过图像特征提取，图像配准等运算，计算出用户当前的精确位置（即用户离被拍摄LOGO图像的商店的距离和角度）；\n[0073] 智能终端根据用户设定的目的地位置，及计算出的用户当前位置开始进行全景导航。\n[0074] 由于本发明对GPS精准度的需求度不高，使用场合不受室内室外的影响，在大型商场等具有较多标志性图像的室内环境中，效果尤其出众。\n[0075] 本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。\n[0076] 本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。\n[0077] 本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。