基于混合现实的室内路径导航方法

暂无

基于混合现实的室内路径导航方法\n技术领域\n[0001] 本发明设计一种基于混合现实的室内路径导航方法，属于路径导航领域。\n技术背景\n[0002] 随着城市建设的突飞猛进，各种现代化的高楼大厦摩肩接踵，其内部的结构和功能错综复杂，当人们身处这样一些陌生而复杂的环境中需要找寻特定的目标时，如在办公楼、展览厅、校园、医院、博物馆、音乐会、技术发布会、大型展会等室内区域，此时室内路径导航尤显其重要性——引导不熟悉地方的用户找到前往目的地的路线、突发情况室内人群的快速疏散以及应急救援等。\n[0003] 中国申请专利号CN200810060078.7《基于无线传感网的室内定位方法》中专利公开了一种混合式基于无线传感器网络的室内定位方法，该方法主要由信标节点、盲节点、汇聚节点三部分组成。信标节点为位置已知的传感器节点；盲节点为待定位的传感器节点，但通过与临近信标节点通信，根据分布式定位算法进行粗略定位；而汇聚节点接收盲点定位，采用集中式定位优化算法进行目标的精确定位，但是要在室内安装大量的传感器并且无法立体化显示所在位置。中国专利申请号CN201010518905.X《一种具备室内导航功能的移动终端及室内导航方法》描述了一种具备室内导航功能的移动终端及室内导航方法。移动终端包括加速度计模块、电子罗盘模块、压力检测模块和控制模块等。加速度计模块、电子罗盘模块、压力检测模块分别与控制模块连接。该专利采用加速度计模块获取移动终端行进的距离，电子罗盘模块获取移动终端行进的方向信息，压力检测模块获取移动终端的大气压力信息，并且由控制模块根据移动终端行进的距离、方向信息和大气压力信息，从而得出移动终端在室内的三维立体位置信息，实现了室内立体导航，但在精确度与成像方面受环境影响较大。中国专利号CN201010518905.X《提供大型建筑物内部的定位和导航的方法》专利公开了一种在GPS信号不可用时对建筑区内的电子设备进行定位/导航的方法。电子设备通过扫描可用的无线局域网接入点并下载位置信息，进而实现定位/导航功能，实时逼真地显示用户在室内当前所处的位置，及可使用的导航路径。但是该专利成像只能已平面显示，无法立体化显示所在位置。\n[0004] 随着增强 现实(Augmented Reality，简 称“AR”)、增强虚 拟(Augmented Virtuality，简称“AV”)、这两项又被合称为“混合现实”(Mixed Reality，简称“MR”)的发展，可以为用户构造所需的高临场感虚拟三维场景。\n[0005] 现在的用户更需要一种能在室内实现立体导航的方法，能够立体化显示所在当前位置，方便用户更加快速的找到前往目的地的路线。\n发明内容\n[0006] 本发明的目的是为了解决上述不足，提供一种基于混合现实的室内路径导航方法。\n[0007] 实现本发明的技术方案如下：\n[0008] 一种基于混合现实的室内路径导航方法，包括移动终端、无线局域网、远程服务器和多个远程PC，移动终端包括移动摄像头和显示屏，多个远程PC之间通过有线网络连接，其特征在于包括以下步骤：①在移动终端上输入目的地，通过无线局域网将目的地传输到远程PC上；②移动终端根据摄像头拍摄的当前图像形成图像序列，通过无线局域网将图像序列传输到远程PC上；③远程PC根据收到的图像序列，依次通过标记可靠识别、图像序列匹配、与位置模型筛选三个步骤来计算用户当前的位置信息；④远程PC根据用户当前的位置信息与目的地计算形成路径导航，将该路径导航使用混合现实技术以3D立体方式叠加并通过无线局域网反馈至移动终端的显示屏上。\n[0009] 上述第③步中，标记可靠识别过程中将输入的图像序列进行阈值分割后处理成二进制图像，进而凸显目标标记，得到二进制图像中的特征，进而进行特征配准，如果能够达成配准，即表示识别出了位置标记，进而完成初步定位，如果不能够达成配准，则返回第②步。\n[0010] 上述标记可靠识别过程中采用不同光照条件的自适应阈值算法生成二进制图像，\n1-10秒或64帧执行一次，其余非标记图像使用最近时间的固定阈值分割图像。\n[0011] 上述图像序列匹配过程中，根据用户在室内移动时捕捉到的图像序列，来进行构建图像序列库，图像序列匹配先按照8-60帧/秒的频率连续采样，再以8帧/秒构建图像序列库。\n[0012] 上述快速精确定位过程中将输入的RGB颜色空间转化成HSI颜色空间，然后从HSI色彩空间中提取前五个LAD特征，最后通过计算欧氏距离来确定当前位置。\n[0013] 上述图像序列匹配中需要计算输入图像序列的特征向量与远程PC5的位置结构模型库的第n个位置的图像序列的特征向量的相似度。\n[0014] 上述第④步中，采用分层L-K光流算法对特征点进行跟踪，对光流跟踪的结果采用RANSAC算法求得其单应性矩阵。\n[0015] 本发明采用上述技术方案得到了以下的有益效果：\n[0016] (1)本发明利用移动终端的摄像头自动采集图像，利用混合现实技术，在显示屏上逼真显示用户在室内当前所处的位置及导航路径，因此用户可以直观地获得导航路径指引。\n[0017] (2)本发明的室内导航方法由于对室内结构化程度、导航范围大小不做任何要求，仅依靠摄像头拍摄完成定位功能，因此可为不熟悉地域的用户提供便捷、经济的室内路径导航服务。\n[0018] (3)本发明采用不同光照条件的自适应阈值算法，生成二值图像，由于简化、整合了图像中灰度值信息，程序算法的计算量会大大降低，更重要的是，能提高后续图像匹配的准确度，而其余非标记图像使用最近时间的固定阈值分割图像，可以降低系统计算量。\n[0019] (4)本发明将利用色度特征来增强对适应光强的能力，降低真彩色空间受色彩变化的影响。\n[0020] (5)由于根据算法的特征，在不同的处理阶段选用不同的算法进行处理，可以较好地解决了跟踪过程的实时性与抖动问题。\n[0021] 通过位置结构模型，可使得在标记识别和图像序列匹配之后，降低定位用户最终位置的错误率，确保定位精度的准确性\n附图说明\n[0022] 图1.室内路径导航系统工作流程示意图\n[0023] 图2.标记的可靠识别方法示意图\n[0024] 图3.场景实时配准流程示意图\n具体实施方式\n[0025] 以下结合附图和具体实施例对本发明作进一步说明。\n[0026] 本发明是一种基于单目视觉定位的、依靠实时配准场景来完成虚拟导航信息的快速跟踪和实时渲染室内路径的导航系统。下面介绍室内路径导航系统的精确位置定位方法及场景配置方法。\n[0027] 室内路径导航系统包括移动终端，移动终端包括移动摄像头和显示屏，无线局域网，远程服务器，远程PC，远程PC中设置有位置结构模型库，位置结构模型库中预先会收录该室内建筑里面位置结构特征的图片，远程PC之间通过有线网络连接。\n[0028] 首先，用户在移动终端中输入目的地；移动终端的摄像头拍摄目前所处环境的图像序列，然后通过无线局域网将图像序列传输到远程PC上，远程PC根据收到的图像序列计算出用户的当前位置，其主要过程包括：①标记的可靠识别、②图像序列的匹配、③位置模型筛选：\n[0029] ①标记的可靠识别\n[0030] 如图所示，在定位过程中，首先完成标记的可靠识别：将输入的图像进行阈值分割后处理成二进制图像，进而凸显目标标记。对上述标记(如方块形图像)进行特征提取，得到二值图像中的所有方块，进而与远程PC中的位置结构模型库的结构特征配准。如果能够达成配准，即表示识别出了位置标记，进而完成初步定位，如果不能够达成配准，则移动装置的摄像头重新拍照，形成新的图像犀利，重新进行标记的可靠识别。\n[0031] 其中，阈值分割处理的效果取决于选定的图像阈值，而图像的最优阈值主要受变化的光照等因素的影响。为了获得更好的处理效果，本发明采用不同光照条件的自适应阈值算法，生成二值图像，每1-10秒执行一次或64帧执行一次，1-10秒内或64帧都使用前一阈值，至下一次再做分割，得到新阈值，以适应快速变化的照明条件。由于简化、整合了图像中灰度值信息，程序算法的计算量会大大降低，更重要的是，能提高后续图像匹配的准确度，而其余非标记图像使用最近时间的固定阈值分割图像，可以降低系统计算量。见图3，原始图像经自适应阈值算法处理后，得到相应的二进制图像，最终可靠地识别出标记。\n[0032] ②图像序列匹配\n[0033] 如图1和图2所示，初步定位后，为达到本发明中最终定位的可靠性、精确性要求，首先进行图像序列的采集，图像序列的采集是根据用户在室内行走时捕捉到的视频序列，来构建图像序列库：先按照8-60帧/秒的频率连续采样，其中12帧/秒是最佳状态，当低于8帧/秒时，不能准确定位；当高于60帧/秒时，对载体数据处理能力要求较高，再以8帧/秒构建图像序列库。每个被识别出的标记所在的图像序列都需要与远程PC的图像序列库中的预存图像序列进行匹配。\n[0034] 本发明的图像序列匹配方法步骤为：首先进行直方图提取，在每个方块标记区域中，提取图像；然后进行直方图匹配，将检测到方块的图像与预先保留的远程PC的图像序列库中的图像序列进行匹配，如果匹配结果达标，即确定了用户的准确位置。这一匹配过程与标记的可靠识别中的特征配准过程相似，但结果要求更精确、且尽量保证速度。\n[0035] 本发明的捕捉到的图像信息受环境光、相对运动等很多因素影响，而且，即使在相同光照环境下，捕捉的两幅图像的色彩信息也有可能不同。那么，由于真彩色空间易受色彩变化的影响，因此本发明将利用色度特征来增强对适应光强的能力。本发明将输入的RGB颜色空间转化成HSI颜色空间，然后从HSI色彩空间中提取前五个LAD特征，最后通过计算欧氏距离来确定当前位置。因此，本发明需要计算输入图像序列(X)的特征向量(xi)与远n\n程PC的位置结构模型库的第n个位置的图像序列(Y)的特征向量(yi)的相似度。其中，以12帧/s的速度捕捉到的图像序列，作为检索的图像序列库。\n[0036] ③位置模型筛选\n[0037] 位置模型筛选方法：以节点代表位置，且每个节点都与邻近节点相互连接，从而构成用户的潜在路径。用户位置定位存在三种可能的情况：1)由标记识别和图像序列判定后的输出结果一致；2)由标记识别和图像序列判定后的输出结果不一致；3)只由图像序列匹配得到输出结果。在位置模型筛选过程中，本发明的精确位置识别规则见表1：\n[0038] 表1精确位置识别规则\n[0039] \n[0040] 在标记的可靠识别过程中，远程PC5一旦检测到潜在标记，根据预先定义的标记信息，定位用户当前所在位置；在图像序列匹配过程中，通过提取输入图像序列特征及预先定义的图像序列特征，综合分析、计算、输出当前用户位置信息；在位置模型筛选中以节点代表位置，且每个节点都与邻近节点相互连接，从而构成用户的潜在路径。在以上三个步骤过程中，位置结构模型用于最终解析用户位置。\n[0041] 用户位置确定后，通过判断摄像头相对于真实世界的位置和姿态，进而将虚拟场景正确地叠加到真实世界的具体位置上，从而使用户从感官上认为虚拟场景确实是真实世界的一部分。\n[0042] 见图3，本发明在场景实时配准过程中，首先采用基于朴素贝叶斯分类的宽基线匹配算法，对于检测到的特征点，如果能通过RANSAC算法建立单应性矩阵，表明检测到该物体，则进入跟踪过程，反之则仍处于检测过程。进入跟踪过程后，采用基于角点与纹理的混合跟踪算法进行跟踪。首先，用当前单应性矩阵计算特征点的坐标，采用分层L-K光流算法对特征点进行跟踪，对光流跟踪的结果采用RANSAC算法求得其单应性矩阵；然后，再通过鲁棒的IC算法对其优化，根据优化结果判断跟踪过程是否成功。如果跟踪成功，就保持在跟踪过程中继续跟踪，反之，如果连续30帧算法不收敛，则认为跟踪失败，并返回到检测过程。同时采用基于角点与纹理特征的混合跟踪算法进行实时跟踪，可以较好地解决了跟踪过程的实时性与抖动问题。\n[0043] 最后，如图2所示，远程PC将用户的位置信息通过远程服务器反馈至移动终端的显示屏上，在显示屏上标记出用户在室内地图上所处的位置，本发明以OPENGL作为图形渲染引擎、以OSG作为场景图形管理、以OSGArt作为混合现实开发包，将根据用户位置和目的地解析得到的路径导航标记显示在移动终端的显示屏上，实现将虚拟导航信息无缝地叠加到移动终端的显示屏上，通过实时场景配准技术，无缝地叠加出混合现实的导航路径。\n[0044] 显然，本领域的技术人员可以对本发明的室内路径导航方法进行各种改动、而不脱离本发明的范围和精神。这样，倘若本发明的这些修改属于本发明权利要求、及其等同技术的范围之内，则本发明也意图包含这些改动在内。