著录项信息
专利名称 | 一种突发异常事件智能识别报警装置及报警系统 |
申请号 | CN201410087754.5 | 申请日期 | 2014-03-11 |
法律状态 | 权利终止 | 申报国家 | 中国 |
公开/公告日 | 2014-06-04 | 公开/公告号 | CN103839373A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G08B19/00 | IPC分类号 | G;0;8;B;1;9;/;0;0查看分类表>
|
申请人 | 成都百威讯科技有限责任公司 | 申请人地址 | 四川省成都市高新区高朋大道5号A座2楼公共秘书平台A-346号
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 成都百威讯科技有限责任公司 | 当前权利人 | 成都百威讯科技有限责任公司 |
发明人 | 黄鹏宇;何跃凯;周建雄;彭元华;郭振中 |
代理机构 | 北京庆峰财智知识产权代理事务所(普通合伙) | 代理人 | 刘元霞;谢蓉 |
摘要
一种突发异常事件智能识别报警装置,包括视频采集模块、综合信息采集模块、报警发送模块、信号处理模块,所述视频采集模块采集周围视频信息,所述综合信息采集模块实时收集周围信号,并将所述视频信息和所述周围信号实时传给信号处理模块;其特征在于:所述信号处理模块对所述视频信息中的图像进行处理、分析,将所述视频信息中的背景图像去除,实现所述视频信息中的图像识别;根据图像识别结果,所述信号处理模块结合所述周围信号,综合分析并识别当前事件是否为突发异常事件,完成对突发异常事件的分辨,从而决定是否启动所述报警发送模块,发出报警信号。本发明还提出了一种突发异常事件智能识别报警系统,本发明的突发异常事件识别报警装置和系统,对当前事件具有综合分析及智能识别能力,并根据识别的突发异常事件发出警报信息。
一种突发异常事件智能识别报警装置及报警系统\n技术领域\n[0001] 本发明涉及一种报警系统,具体涉及一种突发异常事件智能识别报警装置及系统。\n背景技术\n[0002] 我们知道,为了防止盗窃,一般会在小区或者室外走廊、门窗等处安装摄像头之类的防盗装置,例如一种基于智能视频的室内人员闯入的监控和报警系统,主要是通过对摄像头图像的智能分析,实现对室内场所移动目标的分析,对人员的非法闯入达到及时发现和报警,同时忽略没有危险的运动,降低虚警。还有一种家居智能防盗系统,其至少由防盗门、机械式锁具、窗户、露天阳台及阳台门构成。通过安装在:(1)防盗门上的门网传感器、防盗门磁传感器,(2)安装在锁具上的锁舌传感器、钥匙插入/拔出传感器、单子跳动传感器,(3)安装在外侧把手组合件内的把手位置传感器,同时设置从露天阳台进入阳台门通道中的阳台路径探测区,从窗户进入居室的通道中的窗户路径探测区,实现自动识别居家中的主人与盗贼的智能家居防盗系统。\n[0003] 现有的门窗防入侵系统存在如下的缺点:\n[0004] 1.现有市场大多产品功能单一,且不具备综合分析能力。\n[0005] 2.单一的防入侵检测技术存在各自的缺陷,在某些情况下无法正常工作,一旦无法正常工作,整个检测系统处于瘫痪状态,系统的稳定性差。如:智能视频分析检测可能会受到环境光线变化、镜面反射等无关运动的干扰,造成大量的误报;热释电红外检测易受温度、强光、环境复杂运动的干扰;振动检测易受到风等外力引起引起门窗振动产生的干扰;\n玻璃破碎检测易受到外界环境杂音的干扰;门磁检测需要门窗严格闭合,在室内需要通风的情况下将无法使用,如炎热的夏天,用户往往需要开窗通风。\n[0006] 3.传统的报警系统如“家居智能防盗系统”,涉及大量的各式传感器,安装调试通常非常复杂,同时报警信息不直观,无法得知现场情况;\n[0007] 4.传统的报警系统在切断外接电源的情况下无法工作,给非法入侵者以可乘之机。\n[0008] 5.无法对室内合法人员进行一定的监控,例如对子女经常外出或者独居的老人,其健康状况是需要一定的措施加以监控,以保证出现异常情况时如跌倒等能及时解救,而目前却没有这类功能。\n发明内容\n[0009] 本发明的目的在于提供一种突发异常事件智能识别装置及系统,解决了现有的报警系统功能单一,误报率高,容易被干扰瘫痪无法正常工作,以及无法对合法人员如老人跌倒、遭受暴力袭击突发异常事件报警的问题。\n[0010] 为解决上述的技术问题,本发明采用以下技术方案:\n[0011] 一种突发异常事件智能识别报警装置,包括视频采集模块、综合信息采集模块、报警发送模块、信号处理模块,所述视频采集模块采集周围视频信息,所述综合信息采集模块实时收集周围信号,并将所述视频信息和所述周围信号实时传给信号处理模块;其特征在于:\n[0012] 所述信号处理模块对所述视频信息中的图像进行处理、分析,将所述视频信息中的背景图像去除,实现所述视频信息中的图像识别;\n[0013] 根据图像识别结果,所述信号处理模块结合所述周围信号,综合分析并识别当前事件是否为突发异常事件,完成对突发异常事件的分辨,从而决定是否启动所述报警发送模块,发出报警信号。\n[0014] 如上所述的报警装置,其特征在于:\n[0015] 还包括补光照明模块,在所述视频采集模块进行视频采集时,环境照度不足的情况下所述补光照明模块自动启动,为所述视频采集模块提供辅助照明光源。\n[0016] 如上任一所述的报警装置,其特征在于:\n[0017] 还包括电源管理模块,对所述报警装置进行供电,所述电源管理模块连接外接电源和蓄电池;\n[0018] 当外接电源正常供电时,整个产品使用外接电源;\n[0019] 当外接电源被切断时,所述蓄电池自动启用为所述报警装置供电。\n[0020] 如上任一所述的报警装置,其特征在于:\n[0021] 所述综合信息采集模块包括音频采集模块、热释放红外线检测模块、振动检测模块、玻璃破碎检测模块、门磁检测模块、烟雾探测器模块、煤气探测器模块中的一个或多个模块;\n[0022] 其中,所述热释放红外线检测模块探测周围空间中的温度与背景温度的差异信息,并转换成电压信号;\n[0023] 所述振动检测模块探测周围空间中的振动情况并转换成电压信号;\n[0024] 所述玻璃破碎检测模块和门磁检测模块,检测周围玻璃的破碎声音和门磁变化信息并转换成电压信号;\n[0025] 所述综合信息采集模块所采集的所述周围信号包括所述音频采集模块采集的语音信息、所述烟雾探测器模块和煤气探测器模块探测到的信息、所述热释放红外线检测模块、振动检测模块、玻璃破碎检测模块和门磁检测模块检测到的电压信号。\n[0026] 如上所述的报警装置,其特征在于:\n[0027] 所述补光照明模块的光源呈环状;\n[0028] 所述热释放红外线检测模块、振动检测模块、视频采集模块、音频采集模块和报警发送模块安装布置在环状光源的外边缘;\n[0029] 所述信号处理模块、电源管理模块安装布置在环状光源的中部。\n[0030] 如上任一所述的报警装置,其特征在于:\n[0031] 所述玻璃破碎检测模块、门磁检测模块分别通过有线或无线通信方式将检测到的信息转变成电压信号向所述信号处理模块输出。\n[0032] 如上任一所述的报警装置,其特征在于:\n[0033] 所述报警发送模块是采用有线或无线通信方式,将信号处理模块发出的报警信号发出。\n[0034] 如上所述的报警装置,其特征在于:\n[0035] 所述无线通信方式包括3G、WIFI、Zigbee、Bluetooth或者其它无线通信方式。\n[0036] 如上所述的报警装置,其特征在于:\n[0037] 所述信号处理模块收集所述热释放红外线检测模块、振动检测模块、玻璃破碎检测模块、门磁检测模块、烟雾探测器模块、煤气探测器模块中的一个或多个模块发送出来的信号以及视频采集模块和音频采集模块传输过来的信号,进行综合分析,从而完成所述分辨突发异常事件,并通过所述报警发送模块发出报警信号。\n[0038] 如上任一所述的报警装置,其特征在于:\n[0039] 所述信号处理模块包括主处理芯片,所述主处理芯片采用主核处理器与从核处理器结合的双核架构模式。\n[0040] 如上所述的报警装置,其特征在于:\n[0041] 所述主核处理器接收视频采集模块和综合信息检测模块采集到的所述视频信息和所述周围信号;\n[0042] 所述视频信息和所述周围信号构成多源信号传送给从核处理器;\n[0043] 所述从核处理器分辨突发异常事件,形成最终的决策信号。\n[0044] 如上所述的报警装置,其特征在于:\n[0045] 所述分辨突发异常事件主要包括运行音视频智能分析算法,同时结合所述周围信号中的其他信息进行分辨。\n[0046] 如上任一所述的报警装置,其特征在于:\n[0047] 还包括报警联动模块,所述报警联动模块响应于所述报警发送模块,联动声光报警设备发出警讯。\n[0048] 如上任一所述的报警装置,其特征在于:\n[0049] 还包括语音输出模块,所述语音输出模块接收来自远程终端的语音并予以播报输出。\n[0050] 本发明还提出了一种突发异常事件智能识别报警系统,所述系统包括存储模块和如上任一所述的报警装置;所述存储模块通过有线或无线通信的方式与所述报警装置建立通信连接,对所述报警装置采集的信息进行存储;\n[0051] 其特征在于:\n[0052] 所述分辨突发异常事件包括对所述视频信息中的图像进行处理、分析、识别;\n[0053] 对所述综合信息采集模块同步采集到的所述周围信号进行分析;\n[0054] 所述信号处理模块基于所述视频信息中的图像的处理、分析、识别和对所述周围信号的分析,完成对当前事件的识别,实现突发异常事件的分辨,从而决定是否启动所述报警发送模块,发出报警信号。\n[0055] 如上所述的报警系统,其特征在于:\n[0056] 所述同步是指所述视频信息和所述周围信号在同一时刻采集并同步分析。\n[0057] 如上所述的报警系统,其特征在于:\n[0058] 所述报警系统中还包括人脸数据库及人脸注册模块,通过所述人脸注册模块来提取标准化人脸图像的特征,录入并注册到所述人脸数据库;\n[0059] 所述视频信息中的图像的处理、分析、识别,包括通过人脸识别来确定所述视频信息中的人的身份。\n[0060] 如上所述的报警系统,其特征在于:\n[0061] 所述人脸识别中,采用HAAR特征结合adaboost算法进行人脸检测实现人脸定位;\n[0062] 采用两层人眼定位器,通过adaboost算法获得人眼定位,利用人脸定位结果通过图像旋转将双眼校正为水平实现人脸标准化;\n[0063] 通过二维Gabor滤波器进行特征提取,利用向量间的协方差距离作为匹配度量方式,通过最近邻分类法实现待识别的人脸图像与所述人脸数据库中的人脸图像进行匹配。\n[0064] 如上任一所述的报警系统,其特征在于:\n[0065] 所述视频信息的处理包括去除所述视频信息中的背景图像,留下前景图像。\n[0066] 如上所述的报警系统,其特征在于:\n[0067] 去除所述视频信息中的背景图像包括如下步骤:\n[0068] 采用混合高斯建立背景模型,混合高斯背景建模假设信号变化的概率分布用K个高斯分布拟合,表示为\n[0069]\n[0070] 其中μ和σ为高斯分布的均值和方差,模型中每个高斯分布ηi(x,μi,σi)都赋予一个权重ωi,其中μi和σi分别表示高斯分布的均值和标准差;\n[0071] 多个高斯分布通过线性组合得到信号的概率分布prob(x),K个高斯分布按照ω/σ的降序排列,其中,排名靠前的高斯分布\n[0072]\n[0073] 代表背景模型,剩余的高斯分布是前景模型;\n[0074] 将所述视频信息中的图像像素值I(x)与前B个高斯分布进行匹配,如果和其中的任何一个高斯分布匹配成功则该象素为背景象素,否则为前景图像。\n[0075] 如上任一所述的报警系统,其特征在于:\n[0076] 所述当前事件的识别还包括去除所述视频信息中的无关运动,追踪目标运动。\n[0077] 如上所述的报警系统,其特征在于:\n[0078] 所述去除所述视频信息中的无关运动包括采用光线干扰过滤器来去除因光线的变化带来的干扰。\n[0079] 如上所述的报警系统,其特征在于:\n[0080] 所述光线干扰过滤器通过如下方式来去除干扰:\n[0081] 通过灰度图像背景建模得到运动区域为 对应深度图像中的区域为 真正的目标区域必须满足如下条件:\n[0082]\n[0083] 其中,Pd(x)和Pg(x)分别为深度图像和灰度图像运动检测结果;\n[0084] P(x)=1表示目标运动象素,P(x)=0表示背景象素。\n[0085] 如上所述的报警系统,其特征在于:\n[0086] 所述报警系统还包括人脸及头肩检测过滤器以对目标为人时的动作进行识别。\n[0087] 如上所述的报警系统,其特征在于:\n[0088] 所述人脸及头肩检测过滤器分别在灰度图像中采用haar小波结合adaboost分类器实现人脸检测,HOG特征结合SVM分类器实现头肩检测;\n[0089] 在所述运动区域检测到人脸特征或头肩特征时识别为目标运动;\n[0090] 否则认为是干扰,予以滤除。\n[0091] 如上任一所述的报警系统,其特征在于:\n[0092] 在所述视频信息中确认目标动作后,还包括通过帧间的目标关联对目标动作的跟踪,形成目标的运动轨迹,为所述信号处理模块对事件的智能识别提供依据。\n[0093] 如上所述的报警系统,其特征在于:\n[0094] 所述跟踪包括:\n[0095] 目标位置预测,目标特征选择,目标关联匹配和目标特征更新,\n[0096] 其中,\n[0097] 所述目标位置预测是根据当前帧及之前目标的位置估计目标在下一帧的位置,从而提高后续关联匹配的精度,采用以下公式来完成对下一帧的位置的预测\n[0098] 和\n[0099] 其中 和 分别表示t时刻目标在x方向和y方向的速度,N为时间窗口,xt-n和yt-n分别表示t-n时刻目标外界矩形框中心的横坐标和纵坐标,同理xt-n-1和yt-n-1分别表示t-n-\n1时刻目标外界矩形框中心的横坐标和纵坐标;\n[0100] 目标特征选择是选择相对稳定可靠的目标面积S和目标外接矩形框的中心C两个特征;\n[0101] 目标关联匹配是找到前一帧目标在当前帧的位置,实现目标的匹配,以t时刻目标j为 t-1时刻目标i为 当满足下式时才进行特征匹配:,\n[0102]\n[0103] 其中γ为搜索距离阈值,需要根据实际场景进行确定;\n[0104] 匹配的准则为下式\n[0105]\n[0106] 其中ω为特征的权重因子,取值0.5,T为误差上限,防止误匹配,取值0.4;\n[0107] 目标特征的更新采用滤除突变的数据,采用如下公式\n[0108]\n[0109] 其中α为更新因子,取值0.2来实现目标特征的更新。\n[0110] 28、如权利要求15-27任一所述的报警系统,其特征在于:\n[0111] 所述报警系统还能实现跌倒事件的识别,所述跌倒事件的识别包括如下步骤:\n[0112] 地面自动三维建模,将摄像机坐标系的原点设定在图像坐标系的Z轴上,这样平移矩阵T简化为\n[0113]\n[0114] 其中H表示摄像机光心到地面的距离,摄像机坐标系和世界坐标系的转换公式如下\n[0115] R=Rx(α)·Ry(β)·Rz(γ),\n[0116] 摄像机坐标系的三条坐标轴与世界坐标系的三条坐标轴夹角为α,β和γ;\n[0117] 假设图像坐标系的原点与摄像机坐标系的原点重合,则深度图像中的一点(u,v,d)在摄像机坐标系下的坐标为 其中(u,v)为象素点在图像中的坐\n标,d为拍摄物体距离摄像机的距离,fx和fy为摄像机在成像平面上水平和垂直方向的焦距;\n[0118] 设地面上的点F(x,y,z)在摄像机坐标系下满足如下平面约束:\n[0119] ax+by+cz+d=0\n[0120] 其中 为地平面的法向量,通过法向量可以计算得到三条坐标轴的夹角α,β和γ:\n[0121]\n[0122] 当得到一帧深度图像数据后,采用RANSAC算法实现平面拟合,通过拟合可以得到多个候选的地平面Fi=1...n{ai,bi,ci,di},通过如下的先验知识对平面进行粗筛选:\n[0123] 一、地面在图像中占据了较大的面积,即真实的地平面应该包括了较多的图像象素点;\n[0124] 二、通常情况下摄像机与z轴的夹角γ在40度和80度之间,与x轴的夹角α在0度到\n20度之间,与y轴的夹角β基本等于0度。\n[0125] 粗筛选后剩余的平面中选择离摄像头最远的平面作为地平面,即满足:\n[0126]\n[0127] 摄像机坐标下任一点到地平面的距离为:\n[0128]\n[0129] 通过上式计算目标中心到地平面的距离;\n[0130] 目标静止判断,通过计算目标区域内灰度图像的时域差分来判断目标是否静止:\n[0131]\n[0132] 其中gt(x,y)表示t时刻灰度图像中(x,y)处象素点的灰度值,R表示目标区域,SR为目标区域的象素面积;\n[0133] 当M<ε时说明目标静止,其中ε是一个很小的正数。\n[0134] 如上任一所述的报警系统,其特征在于:\n[0135] 所述报警系统还能实现肢体冲突事件的识别,所述肢体冲突事件的识别通过光流矢量和音频分析来实现,所述光流矢量分析包括如下步骤:\n[0136] 光流矢量分析,通过目标跟踪得到目标所在的区域,采用KLT特征点光流计算目标区域内的光流矢量V={ν1,ν2,...,νn},采用幅度加权直方图Hp={hj}j=1,2,...,n实现区域光流矢量的统计分析,再通过下式得出第j阶直方hj,\n[0137]\n[0138] 阶数取值12,Ch为归一化参数, 为归一化光流矢量 的幅值,b(vi)为光流矢量vi对应的直方图区间,通过矢量的方向确定,δ(.)为Kronecker delta函数,[0139] 采用区域熵EH实现剧烈无规则运动的度量,EH的表达式如下:\n[0140]\n[0141] 其中hj表示第j阶幅度加权直方图。EH越大说明区域内的运动越剧烈无规则,设定阈值T,当EH>T时说明区域内爆发了肢体冲突。\n[0142] 与现有技术相比,本发明的有益效果是:本发明以目标行为分析、人脸识别、声音辨识等智能音视频分析为核心技术,并结合先进的热释电红外检测、振动检测、音频检测、玻璃破碎检测、门磁检测和烟雾检测等物联网及无线通信技术,实时动态检测分析室内布控区域内人员跌倒长时间不起、非法闯入、偷盗、严重肢体冲突、火灾、煤气泄漏、爆炸等突发性异常安全事件,并将音视频或图片为载体的直观报警信号通过有线或无线通信方式,第一时间送达诸如户主手机或计算机、小区监控计算机等报警接收处理终端,同时联动声光报警器报警,并接收终端设备的语音输出,实现语音对讲;本发明还采用了以突发异常事件复核算法、移动目标特征分析为基础的虚警过滤器,融合多源探测信息,较好地解决了传统室内安防系统(如红外探测器、智能防盗锁等)误报率高,可靠性较差等问题;最后,本产品自带备用蓄电池,在无外接电源的情况下可以为自身供电2-24个小时。\n附图说明\n[0143] 图1为本发明室内突发异常事件报警系统一个实施例的连接示意图。\n[0144] 图2为本发明室内突发异常事件报警系统的硬件连接示意图。\n[0145] 图3为本发明明室内突发异常事件报警系统的软件结构图。\n[0146] 图4为本发明室内突发异常事件报警系统的信号处理模块中主处理器端流程示意图。\n[0147] 图5为本发明室内突发异常事件报警系统的信号处理模块中从处理器端流程示意图。\n[0148] 图6为本发明室内突发异常事件报警系统的人脸注册和人脸识别流程示意图。\n[0149] 图7为本发明室内突发异常事件报警系统的人脸标准化时对接取人脸图像分析示意图。\n[0150] 图8为本发明室内突发异常事件报警系统的用于跌倒检测流程示意图。\n[0151] 图9为本发明室内突发异常事件报警系统的用于跌倒检测时的坐标建模示意图。\n[0152] 图10为本发明室内突发异常事件报警系统的特定声音检测流程示意图。\n[0153] 图11为本发明室内突发异常事件报警系统的产品实验系统连接示意图。\n具体实施方式\n[0154] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。\n[0155] 图1示出了本发明室内突发异常事件报警系统的一个实施例:一种室内突发异常事件报警系统,包括\n[0156] 视频采集模块,采用视频传感器采集视频流信号,完成图像信号的数字化,图像信号的预处理,得到满足信号处理模块要求的数字视频信号并向信号处理模块输出;\n[0157] 音频采集模块,完成语音信号的数模转换,语音信号的采样编码及滤波处理,得到满足信号处理模块要求的数字音频信号并向信号处理模块输出;\n[0158] 热释放红外线检测模块,感应移动物体与背景物体的温度的差异,当人体移动时热释红外能够感应到人体温度与背景温度的差异信息,转换成电压信号后向信号处理模块输出;\n[0159] 振动检测模块,将外界振动产生形变或受力信息转变为电压信号,向信号处理模块输出;\n[0160] 玻璃破碎检测模块和门磁检测模块,通过有线或无线通信方式将相应的信息转变成电压信号向信号处理模块输出,辅助信号处理模块做出相应判断;\n[0161] 信号处理模块,收集热释放红外线检测报警模块、振动检测模块、视频采集模块和音频采集模块传输过来的信号,进行综合分析,分辨非法入侵、暴力冲突、跌倒长时间不起、煤气泄漏等突发异常事件,并向报警发送模块发出报警信号;\n[0162] 无线接收模块,用于接收振动检测模块,玻璃破碎检测模块,烟雾探测器、紧急呼叫按钮和门磁检测模块上的报警传感器发送的报警信号;\n[0163] 报警发送模块,采用有线或无线通信方式,主要用于接收信号处理模块发出的报警信号及向向户主手机或小区管理中心发送报警信息;\n[0164] 报警联动模块,联动声光报警设备同时工作;\n[0165] 语音输出模块,实现来自远程终端设备如手机、监控中心的语音输出;\n[0166] 红外LED补光灯模块,在环境照度不足时,给视频采集模块提供辅助光源,保证其在低照度的环境下仍然能够采集到有效的图像数据;\n[0167] 电源管理模块,连接外接电源和蓄电池,当外接电源正常供电时,整个产品使用外接电源,当外界电源断电时,内部备用蓄电池自动启用,保证上述各模块在外接电源中断后继续正常工作。\n[0168] 图1还示出了本发明室内突发异常事件报警系统的一个优选实施例,该系统安装在一个机壳内,所述视频采集模块、音频采集模块、热释放红外线检测报警模块、振动检测模块、报警发送模块、无线接收模块、报警联动模块和报警发送模块安装在一个机壳内,所述信号处理模块和电源管理模块以及开关灯控制模块安装在外壳中部,红外LED补光灯模块设置在机壳外边缘和中部之间。\n[0169] 图2示出了本发明室内突发异常事件报警系统的另一个实施例,信号处理模块中核心处理芯片采用双核架构模式,即“主处理器+从处理器”双核架构模式,主处理器主要完成音视频信号的收集,音视频编码,热释电红外报警信号收集,通过无线接收模块接收振动检测模块,玻璃破碎检测模块,门磁检测模块,烟雾探测器、紧急呼叫按钮等分布式报警传感器发送的报警信号,将多源报警信号连同音视频数据传送给从处理器;从处理器主要用于运行音视频智能分析算法,通过视频和声音判断是否存在突发异常事件,同时结合热释电红外报警信号,振动报警信号,玻璃破碎报警信号,门磁报警信号等多源信息,形成最终的决策信号,如果确定突发异常事件发生,向主处理器端发送报警信号,并启动声光报警器报警。\n[0170] 如图3所示,本发明室内突发异常事件报警系统的软件主要是由主处理进程和智能处理进程两大部分组成,主处理进程,由信号采集模块、语音输出模块和报警发送模块构成,运行在ARM端;智能处理进程,由智能分析模块和多源信息融合虚警过滤模块组成,运行在DSP端。信号采集包括了音视频采集模块,热释电红外报警信号采集模块及无线报警信号采集模块,负责音视频等信号的采集以及语音输出。为了保证采集的各种信号能够同步,以便于后续处理,对各种报警信号做适当延时处理与音视频采集信号同步。智能处理进程,完成智能音视频分析,多源信息融合及虚警过滤,并向主处理进程发送报警信号,主处理进程通过报警发送模块向外部终端发送报警信息或启动联动报警设备报警。\n[0171] 如图4所示,主处理软件流程:系统上电后,首先完成主处理器端程序的初始化,接下来完成外围采集设备,通信设备初始化,启动从处理器端程序。创建音视频采集线程、热释电红外检测线程、无线接收线程、从处理器端通信线程、报警发送线程。\n[0172] 音视频采集线程:当接收到音视频数据后组合一帧多源数据,包括视频数据,音频数据及其它各种传感器报警标识,放入FrameBuffer中供通信线程调用,同时完成音视频的预录,以便提供报警信息。\n[0173] 热释电红外检测线程及无线接收线程:接收各种报警传感器的报警信号Ai,其中Ai可以是热释电红外报警信号,振动报警信号,玻璃破碎报警信号,门磁报警信号等。当接收到报警信号时,对应的报警标识Fi置1,表示第i个传感器发生报警,同时计数器Ci置一个初始值,否则计数器Ci递减,当计数器归零时,置报警标识Fi为0,,这里设置延时计数器是为了保证各种传感器的报警信息能够同步。\n[0174] 从处理器端通信线程:接收从处理器端发来的报警信号,通知报警发送线程。如果FrameBuffer中存在一帧多源数据,则将该数据发送到从处理器端。\n[0175] 语音输出/报警发送线程:接收到报警信号后,组织相关的报警信息,如语录的音视频,图片等,向外部终端发送,以及启动声光报警器等设备报警。若接收到语音输出信息,立即开启语音输出功能,连接远程终端,完成语音输出。\n[0176] 如图5所示,智能处理软件流程:首先主处理器端主处理进程启动后,将多任务内核及智能处理进程加载到从处理器内存中,从处理器完成一系列初始化,自动创建通信线程及分析线程。通信线程首先判断是否需要发送报警信号,如果是则向主处理进程发送报警信号,否则判断是否收到一帧多源信息,其中多源信息包括:音视频数据及其它传感器的报警信息,将多源信息放入帧缓存FrameBuffer中,同时向主处理进程发送接收确认信号,表明智能处理进程工作正常。分析线程从FrameBuffer中读取一帧数据,从中取出音视频数据进行分析,得出分析结果,结合数据帧中的其它报警信息,完成多源数据融合及虚警过滤,确定是否需要发送报警信号。\n[0177] 图6本发明室内突发异常事件报警系统的另一个实施例,户主身份判断包括通过人脸识别进行户主身份确认,其中所述人脸识别主要分为:\n[0178] 人脸注册,采集同一个人的不同角度的正面人脸照片,通过人脸定位找到人脸在图像中的位置,并标准化人脸尺寸,人脸角度和光照,提取标准化人脸图像的特征,录入注册用户数据库;\n[0179] 人脸识别,采用HAAR特征结合adaboost算法实现人脸检测实现人脸定位,采用了两层人眼定位器,都是通过adaboost算法获得人眼定位,利用人脸定位结果通过图像旋转将双眼校正为水平实现人脸标准化,通过二维Gabor滤波器进行特征提取,利用向量间的协方差距离作为匹配度量方式,通过最近邻分类法实现查询的人脸图像与数据库人脸图像的匹配。其中Adaboost算法将大量分类能力一般的弱分类器按照训练误差指数下降的方式组合为一个强分类器。而HAAR特征为adaboost算法提供了海量的弱分类特征,保证了adaboost算法总体找到性能优异的弱分类。在人脸检测实施过程中,积分直方图和级联分类器的使用在保证较高检测精度的同时大大降低了处理时间;人眼定位时一般分为两层定位,其中第一层为粗定位,定位区域选择了包括了眼睛眉毛在内的大部分眼部区域,第二层为精确定位,定位区域只包含眼部区域。粗定位器相比于精确定位器由于包含了更多了区域信息,因此定位的稳定性更高,基本不存在较大的位置偏差,而精确定位器能够实现人眼的精确定位,但是容易受到眉毛、眼角的干扰造成定位错误。在粗定位的基础上通过几何比例关系确定人眼的大致位置范围,在该范围内使用精确定位器实现人眼的精确定位。通过由粗到精的定位方式,减小了眉毛、眼角等对定位的影响,提高了定位的准确性;而人脸标准化是人脸识别中非常关键的一个步骤,标准化结果的好坏直接影响了人脸识别的精度。\n人脸标准化主要完成人脸图像的几何校正及亮度校正。利用上一步人眼定位的结果很容易实现人脸图像的几何校正,首先通过图像旋转将双眼校正为水平,通过双眼距离d对人脸图像进行截取。如图7所示,其中最后将图像缩放到80x80象素。\n[0180] 亮度校正主要是在一定程度上消除光照不均对后续识别的影响。主要包括光照面拟合,扣除光照面,直方图均衡及灰度值归一化到零均值,单位方差。这里假设光照面是一个平面。光照面上的点满足如下公式:IP(x,y)=ax+by+c写成矩阵形式即x=Np,其中x表示图像的象素点灰度值排成的列向量,N表示象素点对应的坐标,第一列表示横坐标,第二列表T\n示纵坐标,第三列填充1,p=[a b c]。平面参数a,b,c可以通过线性回归的方式求得,即p=(NTN)-1NTx。\n[0181] 可以选择了Gabor小波特征,Gabor变换在分析图像局部区域纹理方面具有优异的性能。二维Gabor滤波器 可以表示为:\n[0182]\n[0183]\n[0184] 其中 为图像坐标,为滤波器的中心频率,kx和ky分别表示 在横轴和纵轴的投影, 为滤波器的方向,u和v代表不同的取值, 为高斯包络, 为复\n数值平面波。二维Gabor滤波器通过二维高斯函数调制特定频率和方向的正弦波平面实现,通过改变正弦波平面的频率和方向实现不同尺度和不同方向图像纹理的分析。\n[0185] 通过人脸标准化得到了80x80大小的人脸图像,这里选择了5个滤波器尺度,8个滤波方向,得到40个不同方向和频率的Gabor滤波器,对一张人脸图像通过滤波器卷积后得到\n40张Gabor小波变换后的幅值图像,最后得到的Gabor特征维数为163840。这样一个高维的特征向量中会大大降低识别分类的速度,因此需要对特征向量进行降维。这里采用4x4均匀向下采样实现特征降维。\n[0186] 采用最近邻分类法实现查询的人脸图像与数据库人脸图像的匹配,采用向量间的协方差距离作为匹配度量方式,同时可以通过协方差距离衡量最终匹配的可信度。\n[0187] 根据本发明室内突发异常事件报警系统的另一个实施例,信号处理模块连接有存储模块(Storage),针对不同的应用情况,会用到不同类型的存储介质,SD和TF卡通过SDIO来控制,此类型的存储介质方便更换;Nand通过Nandflash控制,此类型集成度高,但是不易于更换存储介质;SSD通过PCI-E或者SATA接口控制,此类型存储空间可以做到很大;\n[0188] 设置有以太网接口(RJ45);\n[0189] 通过电源管理模块(Power manager)连接有外接电源(DC IN)和电池(Battery);\n[0190] 连接有用于主控CPU运行的内存(DDR);\n[0191] 连接有用于存储系统启动程序、配置参数、日志信息的闪存(Flash);\n[0192] 连接有无线模块(3G、WIFI),用于音视频数据以及远程控制信号的传输;\n[0193] 连接有无线模块(zigbee、Blue tooth或其他无线模块),用于接收分布式报警器发送的报警信号,如玻璃破碎信号和门磁打开信号,也可向其它设备发送控制信息。\n[0194] 连接有通过外接警灯,警号联动设备,实现本地声光报警,或控制其它关联设备的联动报警模块。\n[0195] 图8和图9示出了本发明室内突发异常事件报警系统的一个优选实施例,视频采集模块包括图像数据相互对齐的普通摄像检测模块和深度摄像检测模块,对于图像中的一点P得到六维信息分量,其中为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,为颜色分量,本室内突发异常事件报警系统用于检测运动目标和跟踪的的方法如下:\n[0196] 将彩色图像转换为灰度图像,分别针对灰度图像和深度图像建立背景模型,采用混合高斯建立背景模型,混合高斯背景建模假设信号变化的概率分布可以用K个高斯分布拟合,表示为\n[0197]\n[0198] 其中μ和σ为高斯分布的均值和方差,模型中每个高斯分布ηi(x,μi,σi)都赋予一个权重ωi,其中μi和σi分别表示高斯分布的均值和标准差,多个高斯分布通过线性组合得到信号的概率分布,K个高斯分布按照ω/σ的降序排列,排列靠前的高斯分布够代表背景的分布,同时混合高斯模型能够自动的维护场景的变化,同时对于误检测的情况能够通过学习更正错误,\n[0199] 将前B个高斯分布作为背景模型,剩余的高斯分布认为是前景,B应该满足[0200]\n[0201] 将当前象素值I(x)与前B个高斯分布进行匹配,如果和其中的任何一个高斯分布匹配成功则该象素为背景象素,否则为前景运动象素,匹配方式如下式\n[0202] |I(x)-μi(x)|T时说明区域内爆发了肢体冲突。\n[0259] 本发明的整个工作流程:\n[0260] 用户可以根据需要开启或关闭报警功能,检测的方式可以选择视频检测、音频检测、热释电红外检测,振动检测,玻璃破碎检测,烟雾检检测,门磁检测中的一种或几种,如跌倒、严重姿态冲突采用音视频检测,窗户区域采用热释电红外检测、振动检测、玻璃破碎检测,门所在区域采用视频检测、音频检测、热释电红外检测、振动检测、门磁检测。报警信息可以是视频,音频或图片中的一种或几种。\n[0261] (1)设备上电或复位后,信号处理模块从FLASH中加载操作系统和应用程序,完成对主处理芯片的初始化和外围硬件的配置,接下来完成对各子系统的初始化,最后进入正常工作状态。首次使用时,对家庭成员人脸进行注册。\n[0262] (2)主处理芯片的主处理器端不断的采集监控现场的音视频信号及热释红外检测信号,同时通过无线接收模块接收其它分布式报警传感器的报警信号,将多源数据送入从处理器端进行分析,同时进行音视频预录。如果收到从处理器端的报警或预警信号,则将预录的音视频,连同抓拍的照片通过报警信号发送模块发送到小区监控中心或户主的手机上,同时启动声光报警器等联动设备报警。\n[0263] (3)主处理芯片的从处理器端运行智能音视频分析算法,分别从视频和音频的角度分析得出是否存在跌倒较长时间不起、严重肢体冲突、陌生人非法入室等突发异常事件发生,并结合其它传感器报警信息和,运用决策融合技术得到最终的判决结果,将结果发送至主处理器端。\n[0264] (4)户主或监控中心收到报警后,可以通过传回来的报警信息进行确认,也可开启语音对讲功能,与室内人员通话,进一步了解突发异常事件发生情况。\n[0265] 产品实验\n[0266] 实验环境及设备\n[0267] 实验场地:120平方米 2室2厅家用住宅。\n[0268] 实验设备:(1)承载室内突发异常事件报警系统的摄像机 1台;(2)无线门磁检测器 1个;(3)无线玻璃破碎检测器 2台;(4)无线烟雾探测器 1台;(5)无线煤气泄漏传感器 \n1台;(6)安装突发异常事件报警接收处理软件的手机 1部。\n[0269] 如图11所示,在客厅安装吸顶式突发异常事件报警摄像机,分别在卧室、厨房、进入大门口安装玻璃破碎检测器、煤气泄漏探测器、烟雾传感器、门磁检测器,并通过无线与报警摄像机通信,通过报警摄像机IO输出口连接报警警号。\n[0270] 试验方法及结果:\n[0271]\n[0272]\n[0273]\n[0274] 试验结论:在室内环境下,试验结果与试验预期一致,功能、性能完全符合产品设计要求。\n[0275] 本发明具有以下优点:\n[0276] 优点一:功能强,用途广。产品能检测室内几乎所有的异常突发事件,尤其是高精度的人员跌倒检测可广泛应用于对独居老人的监护。\n[0277] 优点二:误报率低。内置功能强大的虚警过滤算法,对室内环境光线变化、窗帘飘动、宠物等引发的突发异常事件进行了较好的过滤。\n[0278] 优点三:报警及时,报警信息直观、灵活,可以是音频,视频或图片。\n[0279] 优点四:设备使用、安装、维护方便。采用无线传输,布线方式简单、易于使用维护。\n[0280] 优点五:可无间断使用,即使停电,仍可自动开启自带蓄电池继续使用。\n[0281] 尽管这里参照本发明的多个解释性实施例对本发明进行了描述,但是,应该理解,本领域技术人员可以设计出很多其他的修改和实施方式,这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说,在本申请公开、附图和权利要求的范围内,可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外,对于本领域技术人员来说,其他的用途也将是明显的。
法律信息
- 2019-03-08
未缴年费专利权终止
IPC(主分类): G08B 19/00
专利号: ZL 201410087754.5
申请日: 2014.03.11
授权公告日: 2016.08.17
- 2016-08-17
- 2014-07-02
实质审查的生效
IPC(主分类): G08B 19/00
专利申请号: 201410087754.5
申请日: 2014.03.11
- 2014-06-04
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有引用任何外部专利数据! |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |