一种结合边缘和颜色信息的电视视频台标识别方法

1.一种结合边缘和颜色信息的电视视频台标识别方法，其特征是具体方法如下：
a.给定示例视频流，选取多帧图像，用Canny算子进行边缘检测，得到多幅边缘图像；
b.首先对多幅边缘图像进行加权求和，然后对多幅边缘图像两两相叠后加权求和，最后对两幅和图像进行求调和平均，从而得到一幅背景干净的边缘台标图像；
c.对台标图像所在的区域进行分块，记录每块的大小和起始位置，得到台标的边缘模板；
d.给定台标示例视频流，通过长时间的帧间像素统计方法消除背景，得到台标颜色模板；
e.给定待识别的视频流，按步骤（a）（b）得到边缘特征图像，然后采用分块匹配的方法，将待检测边缘特征图象与模板库中的边缘模板图像进行匹配,根据边缘匹配得到的结果，分两种情况处理:
（1）若经过步骤（e）获得了最佳匹配结果，且匹配分数大于一定的阈值，则可进行如下处理：
A若临时边缘模板为空，则将临时边缘模板初始化为（e）中待识别的边缘特征图像，并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤（f）；
B若临时边缘模板不为空，且（e）中得到的匹配分数大于之前的匹配分数，则将临时边缘模板更新为（e）中待识别的边缘特征图像，并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤（f）；
（2）若经过步骤（e）没有获得任何匹配结果，但匹配分数满足一定阈值范围，且临时边缘模板不为空，则将（e）中待检测边缘图像与临时边缘模板图像进行匹配，如果匹配成功，转入步骤（f），否则，按步骤（d）得到待检测的颜色特征图像，然后采用逐点匹配的方法，将待检测的颜色特征图像和模板库中的台标颜色模板进行匹配，根据颜色匹配得到的结果，又可分为两种情况处理：
C若经过步骤（2）获得了最佳匹配结果，则根据匹配的台标名称，转入步骤（1）；
D若经过步骤（2）仍然没有获得任何匹配结果，则认为模板库中没有符合待识别视流的台标信息，匹配结果设为无；
f输出匹配结果，此次匹配结束。

一种结合边缘和颜色信息的电视视频台标识别方法\n技术领域\n[0001] 本发明涉及图像识别的领域，尤其是一种结合边缘和颜色信息的电视视频台标识别方法。\n背景技术\n[0002] 电视视频中的台标包含了电视台名、信号来源、节目类别等信息，可作为检索、识别未知视频的重要依据，在视频信息导航、安防等领域应用广泛。在大规模视频数据库中，台标可以作为检索工具，将视频节目进行分类；在视频安全监控中，台标可作为重要的特征，检测播放内容的合法性；在视频转播中，识别替换原始台标，避免出现两个台标的情况。\n研究台标自动识别的意义在设计一种能够在视频序列中有效监测、提取和识别台标的方法，提高电视视频监测效率，为后续的视频分析、理解和检索工作提供重要信息。\n[0003] 台标的正确识别包括三个方面的内容：1)台标的正确分割；2)台标特征的有效表示；3)有效的识别算法。而台标检测与识别主要存在两个难点：1)电视视频背景复杂，如光强变化大、内容切换快等，使得电视台标在检测过程中受背景的影响很大；2)电视台标取向半透明化，使用传统的阈值分割、边缘检测技术已很难提取出效果理想的台标图象。\n[0004] 目前现有技术中与本发明相关的技术，第一种为基于颜色直方图的台标识别算法：此方法包括台标内容的表示以及台标特征的匹配两个问题。在台标内容的表示方面，其按照台标图像的全局和局部的颜色分布来索引图像，通过计算每种颜色的像素的个数并构造颜色直方图和颜色集；在台标特征匹配方面，以颜色特征为基础，进行距离测度计算，利用统计学原理的相似性度量的性质进行台标的检索，其存在缺点：(1)该方法只能检测图像的颜色分布，没有考虑图像的纹理和形状的因素；(2)该方法对相似颜色和透明台标不易识别，识别率不高。第二种为基于关键帧提取和字符串匹配的台标识别算法：此方法首先对提取的关键帧做差分处理，分割出台标图像区域，然后对台标图像做垂直投影并计算出表示台标特征的0-1字符串，最后用改进的字符串匹配算法实现台标的快速识别，此算法存在的缺点为：(1)该方法容易受到台标背景的干扰，对于半透明的台标，无法分割出完整的台标区域；(2)该方法中台标分割的阈值无法自适应选取，分割出的台标区域不稳定，影响台标的正确识别。第三种为基于视频帧加权的台标自动检测算法：此方法首先根据台标位置的先验知识，利用视频帧加权方法对视频图像帧做实时背景更新处理，得到稳定的灰度台标图像；然后采用Canny算子对灰度台标图像进行边缘检测，得到台标的轮廓图像；最后采用简化的分水岭填充算法得到单个台标图像，此算法存在的缺点为：(1)当背景长时间不变或变化很小时，将不能分割出台标或者分割效果不理想；(2)由于半透明台标区域的像素值会随着背景的变化而变化，因此对半透明台标识别效果不理想；(3)视频流中相邻帧图像相似性极高，一般至少每隔30帧抽取一帧做帧差或加权和时算法才有效，因此实时性差；(4)由于背景的复杂性，不是所有台标提取出的边缘都能够形成闭合的线段，所以分水岭填充算法并不总是有效。\n发明内容\n[0005] 本发明要解决的技术问题是：为了克服上述中存在的问题，提高一种结合边缘和颜色信息的电视视频台标识别方法，使其能够近实时地检测并识别出电视视频中的台标，经实验证明，本方法对于台标的半透明化、视频背景复杂、视频背景长时间不变等极端情形仍有着很高的识别率和鲁棒性。\n[0006] 本发明解决其技术问题所采用的技术方案是：一种结合边缘和颜色信息的电视视频台标识别方法，具体方法如下：\n[0007] a.给定示例视频流，选取多帧图像，用Canny算子进行边缘检测，得到多幅边缘图像；\n[0008] b.首先对多幅边缘图像进行加权求和，然后对多幅边缘图像两两相叠后加权求和，最后对两幅和图像进行求调和平均，从而得到一幅背景干净的边缘台标图像；\n[0009] c.对台标图像所在的区域进行分块，记录每块的大小和起始位置，得到台标的边缘模板；\n[0010] d.给定台标示例视频流，通过长时间的帧间像素统计方法消除背景，得到台标颜色模板；\n[0011] e.给定待识别的视频流，按步骤(a)(b)得到边缘特征图像，然后采用分块匹配的方法，将待检测边缘特征图象与模板库中的边缘模板图像进行匹配,根据边缘匹配得到的结果，分两种情况处理:\n[0012] (1)若经过步骤(e)获得了最佳匹配结果，且匹配分数大于一定的阈值，则可进行如下处理：\n[0013] A若临时边缘模板为空，则将临时边缘模板初始化为(e)中待识别的边缘特征图像，并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f)；\n[0014] B若临时边缘模板不为空，且(e)中得到的匹配分数大于之前的匹配分数，则将临时边缘模板更新为(e)中待识别的边缘特征图像，并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f)；\n[0015] (2)若经过步骤(e)没有获得任何匹配结果，但匹配分数满足一定阈值范围，且临时边缘模板不为空，则将(e)中待检测边缘图像与临时边缘模板图像进行匹配，如果匹配成功，转入步骤(f)，否则，按步骤(d)得到待检测的颜色特征图像，然后采用逐点匹配的方法，将待检测的颜色特征图像和模板库中的台标颜色模板进行匹配，根据颜色匹配得到的结果，又可分为两种情况处理：\n[0016] C若经过步骤(2)获得了最佳匹配结果，则根据匹配的台标名称，转入步骤(1)；\n[0017] D若经过步骤(2)仍然没有获得任何匹配结果，则认为模板库中没有符合待识别视流的台标信息，匹配结果设为无；\n[0018] f输出匹配结果，此次匹配结束。\n[0019] 本发明的有益效果是，本发明的一种结合边缘和颜色信息的电视视频台标识别方法，(1)采用台标半透明化：半透明台标区域的像素值会随着背景的变化而变化，导致台标边缘像素不稳定，边缘特征提取效果不理想，本发明提出的边缘台标模板提取方法对这种半透明台标的边缘提取有很好的效果；(2)复杂背景渐变或长时间不变：基于边缘的台标识别，有时会出现背景复杂的情况。而该问题一般情况下会有一个渐变的过程，该变化会最终会导致测试图像和模板无法匹配，本发明采用在线学习的方法，利用视频流中相邻帧图像相似性，制作临时模板，对于背景复杂而无法提取出干净的台标边缘特征的情形有着很高的识别率，该方法对于背景长时不变的情形同样有效；(3)台标变色：不同信道(机顶盒)得到的相同台的视频，其台标颜色会有部分变化(色彩度和饱和度可能不同)，会导致颜色的识别出现问题，采用基于边缘的识别方法基本不会受此问题影响，因为canny算子的提取边缘过程，对于整体颜色变化并不敏感，另外，在有些需要颜色识别的情况下，采用建立新模板的方式进行识别。\n附图说明\n[0020] 下面结合附图和实施例对本发明进一步说明。\n[0021] 图1是本发明的一种结合边缘和颜色信息的电视视频台标识别方法的台标检测与识别流程图；\n[0022] 图2是本发明的一种结合边缘和颜色信息的电视视频台标识别方法中的构建基于边缘的台标模板的流程图；\n[0023] 图3是本发明的一种结合边缘和颜色信息的电视视频台标识别方法中的基于颜色台标模板建立过程的示意图；\n[0024] 图4是本发明的一种结合边缘和颜色信息的电视视频台标识别方法的台标识别的具体流程图。\n具体实施方式\n[0025] 现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。\n[0026] 如图1和图4所示的一种结合边缘和颜色信息的电视视频台标识别方法，具体方法如下：\n[0027] a.给定示例视频流，选取多帧图像，采用Canny算子对于训练视频提取出多幅台标区域(左上角区域)的边缘图像；\n[0028] b.首先对多幅边缘图像进行加权求和，然后对多幅边缘图像两两相叠后加权求和，给每一幅图像一个初始化权值，通过不断的迭代调整这些权值，该迭代过程侧重于图像上边缘点较少的图像影响较大，在满足迭代结束条件之后，生成一幅边缘图像，作为模板图像；\n[0029] c.对于模板图像通过人机交互，对台标图像所在的区域进行分块，记录每块的大小和起始位置、大小、块内点的数目等信息，存放在与图像同名的dat文件中，其建立过程如图2所示；\n[0030] 基于边缘的台标识别：\n[0031] 该方法主要对于边缘的几个矩形框中对应位置的像素点进行统计，把能够匹配上的像素点的个数分别除以模板和测试图像中边缘点的个数，得到的结果再求平均，作为不同框的相似分数。最终选择相似度最大的模板最为该测试台标的识别结果，如果结果不满足识别要求，则拒识。\n[0032] d.给定台标示例视频流，通过长时间的帧间像素统计方法消除背景，得到台标颜色模板的创建，首先，对训练视频中，每一帧台标区域(左上角250×120的区域)的像素点进行建模，统计N帧中，每一个像素点的方差情况，记录整个区域的最大方差,然后将方差值小于最大值三分之一的像素点标记为台标前景，其他为台标背景。最后，选择训练视频中的最后一帧，提取出台标前景部分，背景部分置为黑色。如果最终的台标部分有个别噪声(如图3(c)中的左边缝隙)，可以通过人工的方式编辑擦除；\n[0033] 基于颜色的台标识别：\n[0034] 如果基于边缘的识别方法未能识别出台标的种类，且测试图像满足一定条件(临时模板为空或识别的最大平均相似度介于0.2至0.3之间)，则进行基于颜色的识别。该步骤从模板中非0像素点(黑色)的位置，去找测试区域中相同位置是否有相似颜色的像素点，如果有则相似像素点数加1。然后，统计相似像素点占模板中非0相似点个数的百分比，最为台标的相似度。最终选择相似度最大的模板最为该测试台标的识别结果，如果结果不满足识别要求，则拒识。\n[0035] e.给定待识别的视频流，按步骤(a)(b)得到边缘特征图像，然后采用分块匹配的方法，将待检测边缘特征图象与模板库中的边缘模板图像进行匹配,根据边缘匹配得到的结果，分两种情况处理:\n[0036] (1)若经过步骤(e)获得了最佳匹配结果，且匹配分数大于一定的阈值，则可进行如下处理：\n[0037] A若临时边缘模板为空，则将临时边缘模板初始化为(e)中待识别的边缘特征图像，并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f)；\n[0038] B若临时边缘模板不为空，且(e)中得到的匹配分数大于之前的匹配分数，则将临时边缘模板更新为(e)中待识别的边缘特征图像，并将模板库中所含相同名称的台标边缘模板的分块信息和位置信息赋给临时边缘模板,转入步骤(f)；\n[0039] (2)若经过步骤(e)没有获得任何匹配结果，但匹配分数满足一定阈值范围，且临时边缘模板不为空，则将(e)中待检测边缘图像与临时边缘模板图像进行匹配，如果匹配成功，转入步骤(f)，否则，按步骤(d)得到待检测的颜色特征图像，然后采用逐点匹配的方法，将待检测的颜色特征图像和模板库中的台标颜色模板进行匹配，根据颜色匹配得到的结果，又可分为两种情况处理：\n[0040] C若经过步骤(2)获得了最佳匹配结果，则根据匹配的台标名称，转入步骤(1)；\n[0041] D若经过步骤(2)仍然没有获得任何匹配结果，则认为模板库中没有符合待识别视流的台标信息，匹配结果设为无；\n[0042] f输出匹配结果，此次匹配结束。\n[0043] 综上所述，如果基于边缘的方法已经识别出台标种类，则直接得到识别结果，不进行基于颜色的识别；如果基于边缘的方法没有能够识别出结果，且满足一定条件(临时模板为空或识别的最大平均相似度介于0.2至0.3之间)，则进行基于颜色的识别方法，最终得到识别的结果。\n[0044] 以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。