著录项信息
专利名称 | 复杂背景中实现静态目标检测和识别的方法 |
申请号 | CN201310403787.1 | 申请日期 | 2013-09-06 |
法律状态 | 暂无 | 申报国家 | 中国 |
公开/公告日 | 2013-11-27 | 公开/公告号 | CN103413149A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06K9/62 | IPC分类号 | G;0;6;K;9;/;6;2查看分类表>
|
申请人 | 上海美琦浦悦通讯科技有限公司 | 申请人地址 | 上海市杨浦区淞沪路433号创智天地企业中心6号楼10层
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 上海浩方信息技术有限公司 | 当前权利人 | 上海浩方信息技术有限公司 |
发明人 | 逯利军;钱培专;董建磊;张树民;曹晶;高瑞;李克民 |
代理机构 | 上海智信专利代理有限公司 | 代理人 | 王洁;郑暄 |
摘要
本发明涉及一种复杂背景中实现静态目标检测和识别的方法,其中包括获取待检测对象中的一帧图像并基于该图像构建静态目标背景模型,从所述的静态目标背景模型中提取静态目标区域,记录静态目标背景模型中静态目标的位置并提取静态目标的特征作为静态目标检测结果,采用已训练好的静态目标分类器对所述的静态目标检测结果进行识别,预测静态目标背景模型的下一帧图像的静态目标位置并与下一帧图像的对应位置进行静态目标匹配。采用该种结构的复杂背景中实现静态目标检测和识别的方法,可以实现有效的去除半透明目标造成的影响,有效的解决了静态目标的稳定、快速的检测问题,有效的提高识别准确性和识别速度和训练速度,具有更广泛的应用范围。
1.一种复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的方法包括以下步骤:
(1)获取待检测对象中的一帧图像并基于该图像构建静态目标背景模型;
(2)从所述的静态目标背景模型中提取静态目标区域;
(3)记录静态目标背景模型中静态目标的位置并提取静态目标的特征作为静态目标检测结果;
(4)采用已训练好的静态目标分类器对所述的静态目标检测结果进行识别;
(5)判断是否需要继续检测和识别待检测视频中的静态目标,如果是,则继续步骤(6),如果否,则结束退出;
(6)预测静态目标背景模型的下一帧图像的静态目标位置并与该下一帧图像的对应位置进行静态目标匹配;
(7)使用原静态目标背景模型的下一帧图像更新所述的静态目标背景模型,然后继续步骤(3);
所述的基于该图像构建静态目标背景模型,具体为:
基于该图像构建基于边缘的静态目标背景模型;
所述的从所述的静态目标背景模型中提取静态目标区域,包括以下步骤:
(21)计算所述的静态目标背景模型与其下一帧图像各对应像素点的相似度,根据像素点相似度的倒数加权更新当前背景模型;
(22)从所述的加权更新后的背景模型中提取静态目标区域。
2.根据权利要求1所述的复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的步骤(21)和(22)之间,还包括以下步骤:
(211)通过数学形态学算子去除加权更新后的背景模型中的图像噪点。
3.根据权利要求1所述的复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的提取静态目标的特征,具体为:
提取静态目标的梯度方向直方图特征、尺度不变特征或加速稳健特征。
4.根据权利要求1所述的复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的步骤(4)和(5)之间,还包括以下步骤:
(41)根据对所述的静态目标的识别分类结果更新所述的静态目标分类器。
5.根据权利要求1所述的复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的预测静态目标背景模型的下一帧图像的静态目标位置并与该下一帧图像的对应位置进行静态目标匹配,包括以下步骤:
(61)预测静态目标背景模型的下一帧图像的静态目标位置;
(62)判断预测的静态目标位置与该下一帧图像的对应位置是否相匹配,如果是,则继续步骤(7),否则继续步骤(63);
(63)扩大所述的预测的静态目标位置的范围并采用已训练好的静态目标分类器在该下一帧图像中提取静态目标,如果提取成功,则继续步骤(7),否则继续步骤(1)。
6.根据权利要求1所述的复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的步骤(1)之前,还包括以下步骤:
(0)采用已知类别的静态目标训练静态目标分类器。
7.根据权利要求6所述的复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的采用已知类别的静态目标训练静态目标分类器,包括以下步骤:
(0-1)获取待检测对象中的一帧包含已知类别静态目标的图像;
(0-2)基于该包含已知类别静态目标的图像构建基于边缘的已知静态目标模型;
(0-3)从所述的已知静态目标模型中提取已知静态目标区域并提取已知静态目标的特征;
(0-4)根据已知静态目标的类别和特征训练静态目标分类器。
8.根据权利要求6所述的复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的步骤(0)与(1)之间,还包括以下步骤:
(0-5)判断待检测对象的类型,如果是视频,则继续步骤(1),如果是单一图像,则继续步骤(0-6);
(0-6)采用已训练好的静态目标分类器在该图像中提取静态目标并进行静态目标识别,然后结束退出。
9.根据权利要求1至8中任一项所述的复杂背景中实现静态目标检测和识别的方法,其特征在于,所述的静态目标分类器为随机森林分类器。
复杂背景中实现静态目标检测和识别的方法\n技术领域\n[0001] 本发明涉及图像处理和模式识别领域,尤其涉及复杂背景下自动提取相对静止纹理的视频处理技术,具体是指一种复杂背景中实现静态目标检测和识别的方法。\n背景技术\n[0002] 随着数字电视技术的飞速发展,各级电视台播出的节目套数不断增加,有的多达数十套。因此,对电视节目进行实时监测、保障安全播出是广播电视工作的重要任务。\n[0003] 识别台标是保障电视节目安全播出、防止非法插播和干扰的一种有效的方法。台标具有识别、区别、美化的基本功能,是对电视节目来源、类型等属性的描述,因此台标是实现电视视频自动收录、检索、监测的重要技术基础。\n[0004] 传统台标检测和识别的方法有很多缺点:专利CN101739561A“一种电视台标训练方法和识别方法”,不能有效解决半透明台标和动画台标的,对有仿射变化的台标不适用,且识别速度慢;专利CN101950366A“一种台标检测识别和方法”在上述专利的基础上略有修改,提高了识别速度,但主要问题依然存在。上述两篇专利的其他问题如专利CN102436575A“一种台标的自动检测和分类方法”所述。\n[0005] 总体归纳现有技术中的不足如下:\n[0006] 技术上:\n[0007] (1)时空结构相对有变化的台标、挂角广告(动态台标、动画挂角广告等)不能有效检测;\n[0008] (2)半透明台标也会漏检;\n[0009] (3)对有仿射变化的台标(主要为比例变化)不能有效识别;\n[0010] (4)对于经过转播、视频转换后的、低分辨率的台标检测率低;\n[0011] (5)对于连续视频帧变化小、对比度低的台标不能有效检测;\n[0012] (6)单帧图像检测台标准确性差,不能找到有效的候选区域,且计算量过大;\n[0013] 性能上:准确性偏低--往往只是针对某种场景假设开发的,但实际上,场景是千变万化的;\n[0014] 速度慢—如果是视频流检测,需要200多帧才能检测到台标区域,在识别阶段需要和所有的台标模板比对,且如果是单帧检测识别的话,需要在整幅画面上和所有的台标模板相比对,其时间在秒级甚至分级。\n发明内容\n[0015] 本发明的目的是克服了上述现有技术的缺点,提供了一种能够实现基于单帧/连续多帧的低分辨率和低对比度下相对静态纹理的检测与识别、有效去除半透明目标造成的影响、准确和快速识别、具有更广泛应用范围的复杂背景中实现静态目标检测和识别的方法。\n[0016] 为了实现上述目的,本发明的复杂背景中实现静态目标检测和识别的方法具有如下构成:\n[0017] 该复杂背景中实现静态目标检测和识别的方法,其主要特点是,所述的方法包括以下步骤:\n[0018] (1)获取待检测对象中的一帧图像并基于该图像构建静态目标背景模型;\n[0019] (2)从所述的静态目标背景模型中提取静态目标区域;\n[0020] (3)记录静态目标背景模型中静态目标的位置并提取静态目标的特征作为静态目标检测结果;\n[0021] (4)采用已训练好的静态目标分类器对所述的静态目标检测结果进行识别;\n[0022] (5)判断是否需要继续检测和识别待检测视频中的静态目标,如果是,则继续步骤(6),如果否,则结束退出;\n[0023] (6)预测静态目标背景模型的下一帧图像的静态目标位置并与该下一帧图像的对应位置进行静态目标匹配;\n[0024] (7)使用原静态目标背景模型的下一帧图像更新所述的静态目标背景模型,然后继续步骤(3)。\n[0025] 较佳地,所述的基于该图像构建静态目标背景模型,具体为:\n[0026] 基于该图像构建基于边缘的静态目标模型。\n[0027] 较佳地,所述的从所述的静态目标背景模型中提取静态目标区域,包括以下步骤:\n[0028] (21)计算所述的静态目标模型与其下一帧图像各对应像素点的相似度,根据各个像素点的相似度的倒数作为该像素点的权值加权更新当前背景模型;\n[0029] (22)从所述的加权更新后的背景模型中提取静态目标区域。\n[0030] 更佳地,所述的步骤(21)和(22)之间,还包括以下步骤:\n[0031] (211)通过数学形态学算子去除加权更新后的背景模型中的图像噪点。\n[0032] 较佳地,所述的提取静态目标的特征,具体为:\n[0033] 提取静态目标的梯度方向直方图特征、尺度不变特征或加速稳健特征。\n[0034] 较佳地,所述的步骤(4)和(5)之间,还包括以下步骤:\n[0035] (41)根据对所述的静态目标的识别分类结果更新所述的静态目标分类器。\n[0036] 较佳地,所述的预测静态目标背景模型的下一帧图像的静态目标位置并与该下一帧图像的对应位置进行静态目标匹配,包括以下步骤:\n[0037] (61)预测静态目标背景模型的下一帧图像的静态目标位置;\n[0038] (62)判断预测的静态目标位置与该下一帧图像的对应位置是否相匹配,如果是,则继续步骤(7),否则继续步骤(63);\n[0039] (63)扩大所述的预测的静态目标位置的范围并采用已训练好的静态目标分类器在该下一帧图像中提取静态目标,如果提取成功,则继续步骤(7),否则继续步骤(1)。\n[0040] 较佳地,所述的步骤(1)之前,还包括以下步骤:\n[0041] (0)采用已知类别的静态目标训练静态目标分类器。\n[0042] 更佳地,所述的采用已知类别的静态目标训练静态目标分类器,包括以下步骤:\n[0043] (0-1)获取待检测对象中的一帧包含已知类别静态目标的图像;\n[0044] (0-2)基于该包含已知类别静态目标的图像构建基于边缘的已知静态目标模型;\n[0045] (0-3)从所述的已知静态目标模型中提取已知静态目标区域并提取已知静态目标的特征;\n[0046] (0-4)根据已知静态目标的类别和特征训练静态目标分类器。\n[0047] 更佳地,所述的步骤(0)与(1)之间,还包括以下步骤:\n[0048] (0-5)判断待检测对象的类型,如果是视频,则继续步骤(1),如果是单一图像,则继续步骤(0-6);\n[0049] (0-6)采用已训练好的静态目标分类器在该图像中提取静态目标并进行静态目标识别,然后结束退出。\n[0050] 较佳地,所述的静态目标分类器为随机森林分类器。\n[0051] 采用了该发明中的复杂背景中实现静态目标检测和识别的方法,具有如下有益效果:\n[0052] 通过对静态目标的边缘图建模,有效去除了半透明目标造成的影响,基于跟踪的检测方法有效的解决了低对比度、低分辨率下的静态目标的稳定、快速的检测问题,基于Randomforests(随机森林)的多类快速、准确的分类器,有效的提高识别准确性、识别速度和训练速度。\n附图说明\n[0053] 图1为本发明的复杂背景中实现静态目标检测和识别的方法的流程图。\n[0054] 图2为本发明的复杂背景中实现基于视频训练静态目标分类器的流程图。\n[0055] 图3为本发明中复杂背景中实现基于图像训练静态目标分类器的流程图。\n[0056] 图4为本发明的复杂背景中实现在线训练静态目标分类器的流程图。\n具体实施方式\n[0057] 为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。\n[0058] 本发明主要针对现有技术中台标检测与识别方法的不足,提出了基于单帧/连续多帧的低分辨率、低对比度、变尺度、相对静态纹理的检测与识别方法。解决当前复杂背景下静态目标快速检测和识别问题。\n[0059] 为实现上述目的,本发明采用以下技术方案,本发明基于一检测视频或图像中台标的实施例来对该技术方案进行介绍:\n[0060] 如图1所示为本发明的复杂背景中实现静态目标检测和识别的方法的流程图。\n[0061] 静态目标检测:利用静态纹理的时空相对不变性,建立基于边缘的背景模型,提取目标的初始位置,跟踪预测目标,检测目标。\n[0062] 如果待检测对象是视频,则执行下列步骤一到四的步骤检测视频中的台标,如果待检测对象是单一图像,则直接采用已经训练好的静态目标分类器在图像中识别台标。\n[0063] 步骤一\n[0064] 1、从待检测对象中获取一张图像,计算边缘图,构建基于边缘的台标背景模型;\n[0065] 2、计算帧间相似度s,根据相似度的倒数1/s,加权更新当前背景模型;即计算所述的静态目标模型与其下一帧图像各对应像素点的相似度,根据各个像素点的相似度的倒数作为该像素点的权值加权更新当前背景模型;\n[0066] 背景模型采用边缘图,因为边缘图相对于光照变化不敏感,对半透明图标可以提取图标轮廓;相对静止图标具有时空结构相似性,而非静止图标区域时空结构相似性较差;\n[0067] 因此采用将像素点的相似度的倒数作为该像素点的权值加权更新当前背景模型的方法来克服上述两个问题。\n[0068] 以像素为中心的局部区域的相似度计算方法为:\n[0069] similarity_local=exp(alpha*Dis(I(x,y,t),I(x,y,t-1)));\n[0070] 其中,x、y为帧图像I在t时刻的位置,I(x,y,t)为像素在x,y位置的颜色值,Dis计算t时刻和t-1时刻以x,y为中心的图像子区域间的相似度距离,可以是灰度平均值的差或者其他度量距离。alpha为经验系数,经验值范围0.01~0.05。similarity_local值越大越相似。\n[0071] 帧间相似度计算方法为:\n[0072] Similarity_global=||histogram(I(t))–histogram(I(t-1)||;\n[0073] 其中,||.||为Bhattacharyya距离(巴氏距离,指两个离散或连续概率分布的相似性),histogram为直方图。\n[0074] B(t)=beta*B(t-1)+w*EdgeMap(I(t));\n[0075] w=g(similarity_local)/f(similarity_global);\n[0076] 其中,g和f为映射函数,简单的话,g(similarity_local)=similarity_local,f(similarity_global)=similarity_global。beta为更新权重值,beta+w=1,也可以简单固定beta值,本例beta值设为0.98。\n[0077] EdgeMap(I(t))当前帧的边缘图,B(t)为t时刻背景图,使用B(t)更新背景模型。\n[0078] 3、通过数学形态学算子,去除小的图像噪点,提取台标目标区域;\n[0079] 步骤二\n[0080] 记录台标目标位置,跟踪台标目标,提取台标目标的特征,如颜色,边缘密度,或整块区域,其特征描述包括但不限于hog(梯度方向直方图特征),sift(尺度不变特征),surf(加速稳健特征)等,作为台标的检测结果;\n[0081] 步骤三\n[0082] 对于待检测对象为视频的,预测背景模型的下一帧中台标目标位置,匹配台标与下一帧相应位置;\n[0083] 匹配成功,用该下一帧图像更新背景模型,继续步骤二;\n[0084] 匹配失败,继续步骤四;\n[0085] 步骤四\n[0086] 扩大原预测台标目标的位置范围,采用已经训练好的静态目标分类器,直接在该下一帧图像中提取静态目标;\n[0087] 提取成功,采用该下一帧图像更新背景模型,转步骤二;\n[0088] 提取失败转步骤一。\n[0089] 静态目标识别:本发明采用Random forests(随机森林)分类器,解决多类别快速、准确分类的问题。随机森林算法支持在线学习训练和分类。\n[0090] 步骤一\n[0091] 在检测视频或图像中的台标之前,对静态目标分类器的离线训练:\n[0092] 如图2所示为本发明的复杂背景中实现基于视频训练静态目标分类器的流程图。\n[0093] 如图3所示为本发明中复杂背景中实现基于图像训练静态目标分类器的流程图。\n[0094] 可直接运行如上文所述的静态目标检测算法,提取静态目标区域,计算静态目标特征,如颜色特征,形状特征,其特征描述包括但不限于hog(梯度方向直方图特征),sift(尺度不变特征),surf(加速稳健特征)等。\n[0095] 步骤二\n[0096] 在检测视频或图像中的台标过程中,对静态目标分类器的在线训练:\n[0097] 如图4所示为本发明的复杂背景中实现在线训练静态目标分类器的流程图。\n[0098] 根据静态目标检测结果,直接训练随机森林分类器。\n[0099] 步骤三\n[0100] 用静态目标分类器检测分类静态目标的类型;\n[0101] 根据分类结果更新随机森林分类器。\n[0102] 采用了该发明中的复杂背景中实现静态目标检测和识别的方法,具有如下有益效果:\n[0103] 通过对静态目标的边缘图建模,有效去除了半透明目标造成的影响,基于跟踪的检测方法有效的解决了低对比度、低分辨率下的静态目标的稳定、快速的检测问题,基于Random forests(随机森林)的多类快速、准确的分类器,有效的提高识别准确性、识别速度和训练速度。\n[0104] 在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
法律信息
- 2019-11-29
专利权的转移
登记生效日: 2019.11.12
专利权人由上海赛特斯信息科技股份有限公司变更为上海浩方信息技术有限公司
地址由200433 上海市杨浦区国泰路127弄1号楼底层101-10室变更为200433 上海市杨浦区淞沪路433号创智天地企业中心6号楼10层
- 2017-04-12
- 2015-12-09
著录事项变更
申请人由上海美琦浦悦通讯科技有限公司变更为上海赛特斯信息科技股份有限公司
地址由200433 上海市杨浦区国泰路11号复旦科技园大厦1301室变更为200433 上海市杨浦区国泰路127弄1号楼底层101-10室
- 2013-12-18
实质审查的生效
IPC(主分类): G06K 9/62
专利申请号: 201310403787.1
申请日: 2013.09.06
- 2013-11-27
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有引用任何外部专利数据! |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |