利用增强实景技术优化移动导航和人机交互的系统设备

1.一种利用增强实景技术优化移动导航和人机交互的系统设备，其特征在于该系统设备包括：
移动客户端、服务器端、本地数据库及第三方数据库；
其中移动客户端根据其内置或外部传感器得知当前地理位置和方向，同时读取预先用户设定的查询过滤条件和其他实时数据；移动客户端还连接网路到远端服务器，提交地理位置和方向数据，并且附带过滤条件及其他实时数据；同时移动客户端将服务器返回的场景数据进行空间投影计算和按照空间位置距离映射到照相机取景框二维位置并且融合显示到当前照相机拍摄的实时帧里，同时显示相对于移动设备的左右水平和直线距离数值以用于用户导航，移动客户端支持人机交互的方式来查看、修改和添加场景数据；
服务器端通过其内部的空间搜索引擎根据接收到的移动客户端的位置和方向，结合附带的匹配或过滤条件及其他实时数据搜寻满足条件的场景数据，再返回给移动客户端；
移动客户端和第三方数据库都通过增强实景接口与服务器端连接。
2.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互的系统设备，其特征在于：所述的服务器端的空间搜索引擎与第三方数据库通过第三方数据聚合接口与相连，搜索引擎搜索满足条件的场景数据时，既包括在本地数据库进行基于地理三维空间的规则和不规则轮廓搜索和附加多关键词索引搜索，还包括通过第三方数据聚合接口向第三方数据提供商实时发送基于地理空间位置的查询请求并等待结果，然后搜索引擎将在本地数据库和第三方数据供商提供的数据汇总，按照地理位置排序并返回给移动客户端。
3.根据权利要求2所述的利用增强实景技术优化移动导航和人机交互的系统设备，其特征在于：所述的本地数据库中的场景数据包括移动客户端和服 务器创建的场景数据和第三方数据供应商预先存储的场景数据。
4.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互的系统设备，其特征在于：所述的移动设备是带照相功能的手机或上网本或平板电脑，该移动设备具有卫星定位功能和电子罗盘的传感器。
5.根据权利要求1所述的利用增强实景技术优化移动导航和人机交互的系统设备，其特征在于：移动客户端的传感器包括GPS定位模块和电子罗盘传感器，利用GPS定位模块来确定经度纬度，利用电子罗盘传感器来确定设备当前x/y/z轴方向，根据移动设备的取景框来校对具体方位和水平的绝对偏差。

利用增强实景技术优化移动导航和人机交互的系统设备 \n技术领域\n[0001] 本实用新型涉及手机导航及人机交互领域，具体涉及一种利用增强实景技术优化移动导航和人机交互功能的系统设备。 \n背景技术\n[0002] 移动设备比如手机开始普及内置GPS卫星导航模块和电子罗盘模块。其功能主要用于导航和指引当前设备方向。传统移动设备导航是依据二维或三维地图加上标注来指引目的地或兴趣点(热点)。这种方法的弊端是地图不可能和真实环境一样，导致用户理解误差或不实用。一种新型显示模式在其他领域已经存在，叫增强实景(augmented reality)或增强现实技术，该技术的传统原理是通过透视眼镜或头戴式小型显示器来标注现实数字信息对应到当前用户眼前观看的物理对象，但该技术一直未能应用到移动设备(例如手机)上，也就无法利用该增强实景技术来实现更好的导航和人机交互应用。 \n实用新型内容\n[0003] 本实用新型克服了现有技术的不足，提供一种利用增强实景技术优化移动导航和人机交互的系统设备，通过使用该方法可以更好的实现导航和人机交互应用。 [0004] 为解决上述的技术问题，本实用新型采用以下技术方案： \n[0005] 一种利用增强实景技术优化移动导航和人机交互的系统设备，该系统设备包括： [0006] 移动客户端、服务器端、本地数据库及第三方数据库； \n[0007] 移动客户端和第三方数据库都通过增强实景接口与服务器连接，移动客户端根据其内置或外部传感器得知当前地理位置和方向，同时读取预先用户设定的查询过滤条件和其他实时数据；移动客户端还连接网路到远端服务器，提交地理位置和方向数据，并且附带过滤条件及其他实时数据；服务器端包括隐私安全模块、内容模块、位置和方向过滤器、界面生成器；服务器的空间搜索引擎根据接收到的移动客户端的数据包含的位置和方向信息，结合附带的匹配或过滤条件及实时数据搜寻满足条件的场景数据，再返回给移动客户端；移动客户端将服务器返回的场景数据进行空间投影计算和按照空间位置距离映射到照相机取景框二维位置并且融合显示到当前照相机拍摄的实时帧里，同时显示相对于移动设备的左右水平和直线距离数值以指示用户导航；客户端每次上下左右前后角度移动设备的时候，移动客户端根据传感器最新数据实时重新计算最新数据并且更新在当前帧里，同时更新实时左右水平和直线距离；在客户端根据设备位置更新数据时候不需要向服务器端发送请求，移动客户端可用图标来显示场景数据，然后采用人机交互的方式来显示场景消息数据；移动客户端支持人机交互的方式来修改和添加新的场景数据，移动客户端根据用户在相机取景框内按照目标轮廓计算空间位置并且确定目标地理位置，移动客户端同时获取传感器的具体方向和高度或由用户自定义传感器的具体方向和高度；移动客户端连接网路或通过移动短信SMS服务上传多媒体信息数据包，包含目标地理位置，空间方向和高度，到远端服务器的空间数据管理模块，生成新的场景数据，以达到标注该目标的目的。 [0008] 更进一步的技术方案是： \n[0009] 所述的服务器端的空间搜索引擎与第三方数据库通过第三方数据聚合接口与相连，搜索引擎搜索满足条件的场景数据时，既包括在本地数据库进行基于地理三维空间的规则和不规则轮廓搜索和附加多关键词索引搜索，还包括通过第三方数据聚合接口向第三方数据提供商实时发送基于地理空间位置的查询请求并等待结果，然后搜索引擎将在本地数据库和第三方数据供商提供的数据汇总，按照地理位置排序并返回给移动客户端。 [0010] 所述的本地数据库中的场景数据包括移动客户端和服务器创建的场景数据和第三方数据供应商预先存储的场景数据，第三方数据供应商可以根据服务区提供的第三方编程接口得到授权许可码来提供额外基于地理三维空间位置的数据通道，第三方直接向服务器添加和修改授权的场景数据。 \n[0011] 所述的移动设备是带照相功能的手机或上网本或平板电脑，该移动设备具有卫星定位功能和电子罗盘的传感器。 \n[0012] 移动客户端的传感器包括GPS定位模块和电子罗盘传感器，利用GPS定位模块来确定经度纬度，利用电子罗盘传感器来确定设备当前x/y/z轴方向，根据移动设备的取景框来校对具体方位和水平的绝对偏差。 \n[0013] 与现有技术相比，本实用新型的有益效果是：基于三维空间位置和方向的特殊信息发布和聚合平台，该平台支持同步和非同步基于位置的第三方数据整合，同时提供基于空间物理位置的二维和三维信息查询.特殊信息是一种基于一个或多个有序的数据描述，并且支持超链接的多层(平面)的空间数据结构。 \n[0014] 客户端采用增强实景技术根据移动设备的空间距离计算位置投影(projection)来达到特殊显示效果，比如根据空间数据结构分层显示。 \n[0015] 并且本实用新型根据移动设备的移动性，可以主动提醒满足用户预先设定 条件的数字信息，客户端以一最小模式运行在后台(省电)，当从后台接受到推送的信息，可以调用主程序进入正常运行模式并且运新实景模式来显示数据和当前方向的位移(偏差)。 [0016] 移动客户端同时允许直接在手机屏幕上添加多媒体信息绑定到三维物理目标位置，方向和高度。 \n附图说明\n[0017] 图1为本实用新型系统设备的结构框图； \n[0018] 图2为本实用新型工作的流程图； \n[0019] 图3为本实用新型移动客户端工作流程图； \n[0020] 图4为本实用新型服务器端工作流程图； \n[0021] 图5为移动客户端提醒的工作流程图。 \n具体实施方式\n[0022] 下面结合附图对本实用新型作进一步阐述。 \n[0023] 首先谈谈在本实用新型中涉及到的一些概念。 \n[0024] 1.热点(Point of Interest，POI)：基于一特定地理位置的二维和三维地理空间位置数据描述。该数据包括文字和其他多媒体数据，以及Internet超连接(URI)。 [0025] 2.场景数据(Scene)：包含一个或多个热点的描述一地理范围的空间数据。场景可以理解为一组零到多热点集合数据(A scene is a setof POIs)。 \n[0026] 3.空间层：可以理解为空间层包括零到多个场景。 \n[0027] 如图1所示，一种利用增强实景技术优化移动导航和人机交互的系统设备，该系统设备包括：移动客户端、服务器端、本地数据库及第三方数据库；移动客户端和第三方数据库都通过增强实景接口与服务器连接，其工作的流程如图2所示， \n[0028] 1)移动客户端(可以是带照相功能的手机或上网本或平板电脑)根据内置或外部传感器得知当前地理位置和方向，同时读取预先用户设定的查询过滤条件(比如距离范围，信息种类)和其他实时数据，比如拍摄的当前目标图像或录像。 \n[0029] 2)移动客户端连接网路到远端服务器，提交地理位置和方向数据，并且附带过滤条件及其他实时数据； \n[0030] 3)服务器端的空间搜索引擎根据接收到的移动客户端的位置和方向，结合附带的匹配或过滤条件及其他实时数据搜寻满足条件的场景数据，再返回给移动客户端；在本步骤中，搜寻时既包括在本地数据库进行基于地理三维空间的规则和不规则和附加多关键词索引搜索，还包括通过第三方数据聚合接口向第三方数据提供商实时发送基于地理空间位置的查询请求并等待结果，然后搜索引擎将在本地数据库和第三方数据供商提供的数据汇总、按照地理位置排序并返回给客户端；本地数据库中的场景数据主要包括两部分：由移动客户端和服务器建立和管理；和以及第三方数据供应商通过第三方开放编程接口提供授权获得授权码，第三方直接向服务器添加和修改地理三维空间位置的场景数据； [0031] 4)移动客户端将服务器返回的场景数据进行空间计算和按照空间位置距离映射到照相机取景框二维位置并且融合显示到当前照相机拍摄的实时帧里，同时显示相对于移动设备的距离数值以方便用户导航，客户端支持人机交互的方式来查看、修改和添加场景数据；同时显示相对于移动设备的左右水平和直线距离 数值以指示用户导航；客户端每次上下左右前后角度移动设备的时候，移动客户端根据传感器最新数据实时重新计算最新数据并且更新在当前帧里，同时更新实时左右水平和直线距离；在客户端根据设备位置更新数据时候不需要向服务器端发送请求，移动客户端可用图标来显示场景数据，然后采用人机交互的方式来显示场景消息数据； \n[0032] 5)客户端支持人机交互的方式来修改和添加新的场景数据，移动客户端根据用户在相机取景框内按照目标轮廓计算空间位置并且确定目标地理位置，移动客户端同时获取传感器的具体方向和高度或由用户自定义传感器的具体方向和高度；客户端上网或通过短信上传多媒体信息数据包，包含目标地理位置，空间方向和高度，到远端服务器的空间数据管理模块，生成新的场景数据，以达到标注该目标的目的。 \n[0033] 移动客户端还可以提供加静态相机照片或动态相机视频关键帧的模式识别技术，以更加精确定位和定向和移动客户端当前地理位置和空间位置，而服务器则采用图片对比技术来修正移动客户端的地理位置和空间位置。 \n[0034] 在上述的移动客户端和服务器端的数据交换中都采用数据安全传输模式比如但是不限于，采用访问密钥和签名来来效验用户和保护客户隐私。 \n[0035] 在上述步骤中移动客户端的传感器利用GPS导航模块来确定经度纬度，利用罗盘模块来确定x/y/z轴方向，根据移动设备的取景框来校对具体方位和水平的绝对偏差，如果移动客户端支持触摸屏用户可以点击选择浏览热点和场景详细信息，如果移动客户端不支持解摸屏则采用设备选择按钮浏览热点和场景详细信息。 \n[0036] 移动客户端和服务器为用户提供预先定义的多媒体场景信息，场景信息一般按类别分类以便以后分类显示；类别是常规热点类别加子类别和热点集合； 标注信息以地理空间三维坐标为一个空间点组合成一个完整空间数据模型，该模型支持静态和动态数字信息：静态信息包括用户定义的个性文字、2D图片、3D模型；动态信息包括不定期和定期改变内容的数据类型，包括但不限于，天气预报、公交车信息等逻辑上联系于地理空间位置包括经纬度，高度和方向；用户可以通过移动客户端和服务器操作界面添加和修改场景信息；\n当通过移动客户端操作场景数据时候，地理位置可以是当前移动设备位置或是目标真实地理位置；目标真实地理位置是通过手动设定直线距离或自动估算目标地理位置相对于当前移动设备的直线距离。标注信息一般按类别分类以便以后分类显示。类别可以是常规热点(POI)类别加子类别(级数不限)，和热点集合。标注信息以地理空间三维坐标为一个空间点组合成一个完整空间数据模型. \n[0037] 移动设备的系统上传标注位置和方位，加上标注类型和相关数据存放到服务器端，用户可以通过服务器程序接口访问，或直接通过手机、PC或其它平台软件结合二维地图查看和重现二维三维场景数字模型；并且计算导航路径；多个场景数据可以指向同一地理位置但是采用空间层来划分不同场景数据但是指向同一或非常相近地理位置。 [0038] 所述的移动客户端接近一定直线距离内用户事先设定的符合匹配和过滤条件的场景数据时，移动设备给用户提供多界面模式提示，包括声音提醒和设备震动，用户选中具体数据后移动客户端自动打开移动设备的相机开始预览，用户水平移动设备以获取相应传感器方向数据来查看数据，在用户设定有效距离内满足条件的场景数据模型通过真强实景方式显示在当前相机取景框预览图像上；同时显示导航提示路径和距离参考界面在相机取景框预览图上指引用户到达目标位置；移动客户端以一省电模式运行在设备后台，当从后台接受到服务器 推送的场景和其他提醒信息，可以调用主程序进入正常运行模式并且打开相机取景框运行实景模式来显示接受到的数据。 \n[0039] 图3所示为移动客户端的工作运行流程图， \n[0040] 1.打开移动客户端相机，相机开始准备传输捕获的实时帧。 \n[0041] 2.打开卫星定位模块，获取当前设备地理位置。 \n[0042] 3.打开设备电子罗盘模块，获取当前设备X/Y/Z方向和偏移数据。 [0043] 4.控制显示模块查询当时地理位置和方向，读取用户预先设定条件，打开网路通讯模块，向服务器发送查询请求。 \n[0044] 5.控制显示模块根据返回的场景数据，计算数据的地理位置相对于当前设备地理位置和方向，计算投影并且叠加当前获取的相机帧发送到显示屏幕。 \n[0045] 6.设备设定满足条件后通过语音和震动提醒。 \n[0046] 7.本地缓存模块存储最近服务器返回数据以提高整体效率、和存储相关查询条件和相机捕获的帧图像和录像。 \n[0047] 图4为服务器的工作运行流程图，其具体步骤为： \n[0048] 1.服务器WEB模块提供标准REST接口方式相应答复客户端请求和安全授权管理。 [0049] 2.空间查询引擎根据REST接口获得的条件创建二维或三维查询指令到场景空间元数据库，同时根据移动客户端的条件或系统设定，发送查询请求通过第三方内容实时查询接口。 \n[0050] 最后汇集结果生成元数据(metadata)通过Web接口返回给客户端。 [0051] 3.客户端根据获得的元数据(metadata)请求下载真实多媒体二进制(binary)数据本身，根据客户端当前地理位置，数据存储模块获取场 景多媒体数据通过WEB接口返回给客户端。 \n[0052] 6.基于地理位置的分布式数据存储提高访问效率。原理是根据数据和访问的密度存储在不同的集群存储节点里。每一存储节点负责一组地理位置的数据。 [0053] 7.实时调用第三方内容服务器获取地理位置相关数据。 \n[0054] 8.提供服务器数据库(元数据库和分布式集群存储)的访问接口给第三方程序(内容服务器或程序)。第三方程序可以随时添加和修改场景数据。 \n[0055] 图5为移动客户端提醒流程图，由于比较简单就不详细叙述了。 \n[0056] 具体来说，通过上述方法，用户手机在口袋里，当接近一处位置，手机提示(震动或其他方式)用户附近有用户预先设定的感兴趣的事件或其他相关类别的场景数据，用户打开照相机取景框环绕查看，在用户设定有效距离内相关事件、建筑或任意物体显示在当前相机取景框之上或采用其他常见显示方式。 \n[0057] 用户可以事先或实时定义匹配条件和有效距离，也可以动态根据当前地方特点，比如城市或乡村来自动调节匹配距离。匹配条件和距离决定了查询结果的多少。 [0058] 提醒事件包括场景数据，也包括所有从服务器端传来的带地理空间位置的其他类别的信息，比如在增强实景模式下显示带位置的其他用户公开信息以显示其偏移位置和相对距离。 \n[0059] 移动客户端可以自定义位置发布类型：附近，街道和城市。这样在不同类型下移动客户端不需要随时向服务器端发布地理位置。移动客户端只需要发布初始位置一次。当移动客户端位置超出初始位置以后才向服务器端发布跟新位置数据。位置发布类型由系统统一定义，但是也支持用户自己定义的特殊类型。 \n[0060] 服务器定期或每次当有场景数据添加和改变到服务器，检查客户端条件，如果满足条件，服务器主动发送提醒数据到移动客户端。 \n[0061] 多个场景可以指向统一地理位置或有一个到多个位置点组合成为一地理区域.这时候，服务器和移动客户端可以采用多层空间数据结构来划分来管理场景数据.数据结构可以决定导航的次序和方向. \n[0062] 当多个地理位置构成区域时候，区域空间可以以规则几何图形和任意几何图形成为一个面或层来划分多个场景数据.不同场景数据可以映射到统一地理位置或地理区域，但是有不同层号.几何图形的大小可以以一基本单位(比如10米，或者略大于设备GPS最小精度)为基数。 \n[0063] 本实用新型的目的及提出的方法在下列较佳实施例中详细说明，但本实用新型的概念也可用于其它范围。以下列举的实施例仅用于说明本实用新型的目的与执行方法，并非用以限制其范围。 \n[0064] 当然，本实用新型还可有其他多种实施例，在不背离本实用新型精神及其实质的情况下，熟悉本领域的技术人员可根据本实用新型做出各种相应的改变和变形，但这些相应的改变和变形都应属于本实用新型所附的权利要求的保护范围。 \n[0065] 实施例1：实景信息发布与检索 \n[0066] ●用户预先设定感兴趣的检索事物(比如，逛街购物、办事机构、乘车提示，等等)或定制所需获取的发布信息(比如，突发事件、天气预报、好友互动，等等)。当用户接近某处位置，手机提示用户附近有用户预设的感兴趣的检索事物；当服务器有用户预定的发布信息，自动发送到用户手机。 \n[0067] ●用户可以打开手机照相机取景框环绕查看，在用户设定有效距离内相关事件、建筑或任意物体显示在当前相机取景之上。 \n[0068] ●实景信息检索示例： \n[0069] a)用户逛街前预设某物品在特定区域内的打折过滤条件，在逛街中如果遇到符合条件的打折物品就提示用户，用户可以打开照相机取景框环绕查看物品所在位置。 [0070] b)用户出门前预设某办事机构在特定区域内的搜索过滤条件，在行进中如果遇到符合条件的机构就提示用户，用户可以打开照相机取景框环绕查看机构所在位置。 [0071] ●c)用户乘坐公交车时预设某到达车站的提示条件，当车行进至接近该车站时提醒用户。 \n[0072] ●实景信息发布示例： \n[0073] a)政府可以通过服务平台发布灾害性天气和突发事件预警。 \n[0074] b)用户预定天气预报在特定区域内发布信息，当进入特定区域时提醒用户。 [0075] c)用户预设接收指定好友基于地理位置的信息(比如：留言、微博、心情、虚拟礼物等等)，当进入有该好友信息的区域时提醒用户。 \n[0076] ●实施例优点： \n[0077] a)涉及民生，社会效益明显。 \n[0078] b)用户自定义接收内容和条件，避免用户对接收无用信息的反感。 [0079] 实施例2：实景儿童智力教育游戏 \n[0080] ●家长在实景空间预设或放置基于地理位置的二维和三维虚拟物品和人物，并设计游戏进程；孩子通过手机照相机取景框搜寻或查看虚拟物，在户外玩游戏并根据结果获得不同虚拟奖励。 \n[0081] ●用户可能感兴趣的虚拟物品：人物、动物、植物、宝藏、几何体、算数题、问题、唐诗和儿歌，等等。 \n[0082] ●实景儿童智力教育游戏示例： \n[0083] a)在居住小区花园或公园，家长藏匿孩子已知或希望孩子认知的事物或回答的题目；孩子边玩耍边寻找这些东西，根据完成情况打分。 \n[0084] b)根据同样的方法，可以设计出比如实景寻宝、实景捉迷藏、实景养宠物和种植物，等智力教育游戏。 \n[0085] ●实施例优点： \n[0086] a)寓教于乐，充分体现增强实景的优势，避免儿童沉溺传统游戏而影响身心健康，实现游戏与户外活动完美结合。 \n[0087] b)当找不到同龄孩子玩耍时，任能在户外同虚拟人物一起做游戏。 [0088] 实施例3：好友虚拟现实场景互动 \n[0089] ●用户在实景空间预设或放置基于地理位置的二维和三维虚拟物品和人物，并设计场景发展进程；好友通过手机照相机取景框查看虚拟现实场景。 \n[0090] ●以截图和视频录像的形式保存虚拟现实场景影像，并可立即通过手机上传社交网站或直接发给好友。 \n[0091] ●虚拟物品和人物的选择应根据特定人群的喜好和流行趋势随时更新。 [0092] ●用户可能感兴趣的虚拟物品：热门人物、卡通人物、历史人物、动物、搞笑事物、网络流行事件，等等。 \n[0093] ●好友虚拟现实场景互动示例： \n[0094] a)如果用户想在节假日或纪念日送对方特殊礼物，可以用虚拟三维饰物布置一个房间或一处有纪念意义的场所，也可以在特定地点(比如学校、办公室、约会地，等等)预先放置特殊礼物，然后通知对方去实地领取礼物或当对方到达实地附近时提醒对方领取，不用破费就能给对方制造不同寻常的惊喜效果。可储存场景影像供日后回味或与好友共享。 [0095] b)根据用户的心情和喜好制作幽默快照，相当于在实景环境中随时随地PS相片，并可储存场景影像上传社交网站或直接发给好友。 \n[0096] ●实施例优点： \n[0097] a)涉及年轻玩家。 \n[0098] b)对特定人群有很大吸引力，满足年轻人猎奇的心理。