一种智能导盲眼镜系统及其导盲方法

1.一种智能导盲眼镜系统，其特征在于，包括：
图像采集模块(1)，采集使用者周围的环境图像，并将获取的图像上传至中央控制模块(4)；
语音处理模块(2)，与中央控制模块(4)相连，用于使用者与各种功能模块间的人机交互；
4G通信模块(3)，为眼镜端和负责识别测距的云服务器(5)建立实时相互通信，并实现语音通话功能；
中央控制模块(4)，对各功能单元所采集到的数据和信息进行汇总分析，并根据数据所反映的场景，对各个功能模块发出相应的控制指令；对常见物体通过图像模板匹配和视差图进行识别与测距；如无法辨别，再利用4G通信模块(3)发送至云服务器(5)；
云服务器(5)，通过在云服务器上搭建软件平台建立图像分析系统，利用深度学习神经网络，建立图像学习数据库，利用深度学习与双目测距算法，从上传的图像中获取障碍物距离与类别信息，并将信息反馈回中央控制模块(4)；
USB分流模块(6)，用于将图像采集模块(1)和卫星定位模块(4)与中央控制模块4相连，实现信息交互传输。
2.根据权利要求1所述一种智能导盲眼镜系统，其特征在于：还包括有卫星定位模块(7)，与中央控制模块(4)相连，用于卫星定位，4G通信模块(3)还能将GPS获取的经纬度信息通过Internet发送至PC服务器端并接收服务器反馈信息。
3.一种智能导盲眼镜导盲方法，其特征在于，方法如下：
通过图像采集模块(1)采集使用者周围的环境图像，获取的图像采用本地-服务器递进识别方案：先由中央控制模块(4)对常见物体通过图像模板匹配和视差图进行识别与测距；
如无法辨别，再利用4G通信模块(3)的网络通信功能发送至云服务器(5)，云服务器(5)利用深度学习与双目测距等算法，从上传的图像中获取障碍物距离与类别信息，并将信息以文本格式发送回中央控制模块(4)，再由语音处理模块(2)将其转化成语音信息，通过耳机告知盲人。
4.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于：所述本地-服务器递进识别方案，即首先在眼镜端中央控制模块(4)上对一些常见障碍物的图片进行特征提取进行机器学习建立匹配模板分类数据库，识别测距功能开启后，中央控制模块(4)先对预处理的图片解压缩，在图片中利用阈值选取方法对物体与背景进行分割，再用Boost方法对背景分割后的目标图像进行特征提取，获取到的目标特征通过SVM法与建立常见物体模板数据库进行匹配，从而获得常见物体的识别结果；若匹配结果相似度低于识别比例，中央控制模块(4)会把预处理后的图像通过4G通信模块(3)传送给云服务器(5)进行识别，云服务器(5)通过建立的深度学习训练过的数据库进行学习识别，根据最高的相似度得出辨别结果。
5.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于：
图像采集模块(1)为模拟人眼的双目摄像头，经USB分流模块(6)与中央控制模块(4)相连，以模拟人类左右眼视觉成像的原理获取同一景物的两幅图像，获取到的两幅图片是由双目摄像头硬件压缩的jpeg格式，而后传输到中央控制模块(4)，通过两个摄像头所获取的二维图像结合神经网络算法计算出景物的三维信息并提取图片中的主要信息，通过BM算法得出图像视差；
在Opencv上实现双目测距，主要步骤为：
①双目校正和标定，获得摄像头的参数矩阵；
②立体匹配，获得视差图；
③采用BM算法生成视差图；
④得出测距；
⑤把生成的视差图输入到reprojectImageTo3D()函数，生成3D点云，3D点云中保存有
2D图像的三维坐标，再读出每帧图像的三维坐标中的z轴的值，就得出了距离数据；
⑥结果分析。
6.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于，目标障碍物方位辨别步骤为：在Opencv环境下，通过阈值选取法得到去背景的目标图片，并对该图片整个区域建立坐标进行区域划分，划分为三个区域，分别为左前、前方、右前方；同时，在去除背景的目标图片基础上根据目标具体形状生成目标对应的轮廓框图，再根据该框图，利用几何原理计算出目标轮廓框图的几何中心点；中心点和区域划分完成后，根据目标轮廓中心点位于区域划分图中的具体区域来得出该目标当前相对于摄像头的具体方位。
7.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于：语音处理模块(2)包括语音处理芯片，主要功能是实现使用者与各种功能模块间的人机交互，当使用者距离障碍物的距离低于预警阈值时，中央控制模块(4)会向该模块发出播报指令，该模块则将得到的数据进行处理，并通过外放喇叭或耳机设备进行播报，告知使用者前方障碍物的类别、方位和距离。
8.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于：卫星定位模块(7)以眼镜作为Socket通信的客户端，把GPS获取的经纬度信息利用4G通信模块(3)通过TCP/IP协议在Internet上传递给PC机服务器端，而后PC服务器再将得到的经纬度信息通过百度地图API进行经纬度与位置信息的匹配，从而得知使用者所在位置，最后PC服务器端再将位置信息通过互联网发送回中央控制模块(4)；
网络通信功能的技术实现步骤：
①在Linux下ME3760_V2模块的USB口被映射成5个接口：ECM、/、AT、Modem和Log；
②内核修改，在原有的Linux版本的基础上添加ME3760_V2模块的驱动；
③内核编译；
④设备加载，ME3760_V2模块的ECM口在系统中被映射成网口eth0，其中AT/Modem/Log口在系统中被映射为ttyUSB0-ttyUSB2；
⑤建立4G连接，利用AT指令，使用PPP拨号，并静态设置eth0的IP和网关DNS或者使用PPP拨号。
9.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于：在对语音处理模块(2)的控制中，预先在后台服务器分析程序中设置有预警阈值，当探测到的物体距离小于预警阈值时，核心板将接收到的文本信息经过语音模块处理后得到的各种功能的语音片段，以外放喇叭或者耳机的形式传递给使用者，当探测物体距离大于预警阈值时，停止播报。
10.根据权利要求3所述一种智能导盲眼镜导盲方法，其特征在于：深度学习原理具体为，采用云服务器作为图像识别处理系统的软件平台，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，深度学习整体上是一个layer-wise的训练机制。

暂无