一种台标识别的方法、装置

暂无

一种台标识别的方法、装置\n技术领域\n[0001] 本发明属于多媒体图像处理技术领域，尤其涉及一种台标识别的方法、装置。\n背景技术\n[0002] 电视机视频中的台标是一个电视台的标志，标识了该电视台台名，节目取向等重要信息。台标识别技术是基于内容的视频图像分析、检索领域的热门技术之一。台标的正确识别包括以下几个方面：一是台标的正确检测（分割）；二是台标特征的有效表示；三是有效的识别算法。\n[0003] 现有技术通常采用基于全局匹配的识别方法来识别台标，这种识别方法虽然对大部分台标的识别效果还可以，但针对半透明的台标（例如中央台）在台标附近信息比较复杂时，很难达到好的识别效果，并且处理速度较慢。\n发明内容\n[0004] 本发明实施例提供了一种台标识别的方法、装置，旨在解决现有技术对台标识别速度较慢，正确率比较低的问题。\n[0005] 一方面，提供一种台标识别的方法，所述方法包括：\n[0006] 采集机顶盒输出的视频帧图像；\n[0007] 计算所述视频帧图像相邻帧之间的变化图像，并提取所述变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像；\n[0008] 提取所述台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标；\n[0009] 统计预先设置的时间段内得到的候选台标集合，再根据所述候选台标集合和预设的判决准则得到台标识别结果。\n[0010] 另一方面，提供一种台标识别的装置，所述装置包括：\n[0011] 图像采集单元，用于采集机顶盒输出的视频帧图像；\n[0012] 台标区域获取单元，用于计算所述视频帧图像相邻帧之间的变化图像，并提取所述变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像；\n[0013] 候选台标构建单元，用于提取所述台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标；\n[0014] 台标识别单元，用于统计预先设置的时间段内得到的候选台标集合，再根据所述候选台标集合和预设的判决准则得到台标识别结果。\n[0015] 在本发明实施例中，首先通过计算所采集的视频帧图像相邻帧之间的变化图像来获得台标区域二值图像，再提取所述台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标，最后统计预先设置的时间段内得到的候选台标集合，再根据所述候选台标集合和预设的判决准则得到台标识别结果。本发明实施例对于半透明台标，由于台标半透明，所以在台标的边缘部分很难分清楚台标部分和背景部分，本发明实施例通过计算所采集的视频帧图像相邻帧之间的变化图像来获得台标区域的二值图像，因此台标所在区域的像素值基本没有发生变化，而背景部分变得模糊，并且使得背景部分没有较明显的纹理特征，可以更容易的分辨出台标区域，使得台标区域的检测更加准确，另外，由于只需要对所采集的视频帧图像相邻帧之间的变化图像来进行处理，而不用像现有技术那样对所有采集的视频帧图像采用全局匹配的方法来分辨出台标区域，因此相对现有技术识别速度更快。\n附图说明\n[0016] 图1是本发明实施例一提供的台标识别的方法的实现流程图；\n[0017] 图2是本发明实施例二提供的台标识别的方法的实现流程图；\n[0018] 图3是本发明实施例一提供的台标识别的方法划定出的台标的大致区域R1和R2的示意图；\n[0019] 图4是本发明实施例三提供的台标识别的方法的实现流程图；\n[0020] 图5是本发明实施例四提供的台标识别的装置的具体结构框图；\n[0021] 图6是本发明实施例五提供的台标识别的装置的具体结构框图；\n[0022] 图7是本发明实施例六提供的台标识别的装置的具体结构框图。\n具体实施方式\n[0023] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。\n[0024] 实施例一\n[0025] 图1示出了本发明实施例一提供的台标识别的方法的实现流程，包括：\n[0026] 在步骤S101中，采集机顶盒输出的视频帧图像。\n[0027] 在本实施例中，台标识别的装置可以通过视频采集卡采集机顶盒输出的视频信号，获得视频帧图像。\n[0028] 在步骤S102中，计算所述视频帧图像相邻帧之间的变化图像，并提取所述变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像。\n[0029] 在本实施例中，台标识别的装置得到台标区域二值图像的步骤主要包括：\n[0030] 步骤1）、台标识别的装置计算所采集的视频信号中的视频帧图像相邻帧之间的变化图像。\n[0031] 经过步骤1）后，可以得到第i帧图像和前一帧（i-1）图像之间的变化图像VARi，得到的变化图像中台标所在区域的像素值基本没有发生变化，而背景部分变得模糊，并且背景没有较明显的纹理特征。\n[0032] 步骤2）、提取所述变化图像VARi的边缘，同时对所述变化图像的边缘采用自适应阈值分割处理，得到台标区域二值图像。\n[0033] 其中，步骤2）采用边缘检测Canny算子提取所述变化图像VARi的边缘，同时对所述变化图像VARi的边缘采用自适应阈值分割处理，得到台标区域二值图像，并用矩形框标记出台标区域二值图像。其中，自适应阈值分割处理过程可以预先定义一个阀值，当图像的像素值大于所述阀值时，将所述图像的像素值赋值为1，否则赋值为0，这样就可以得到一个像素值为0和1的台标区域二值图像。\n[0034] 在步骤S103中，提取台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标。\n[0035] 在本实施例中，首先提取台标区域二值图像的HU不变矩特征，然后与预先生成的台标模板库中的台标模板的HU不变矩特征进行匹配，根据匹配结果得到候选台标。若匹配成功，则将候选台标加入到候选台标集合中。\n[0036] 在步骤S104中，统计预先设置的时间段内得到的候选台标集合，再根据所述候选台标集合和预设的判决准则得到台标识别结果。\n[0037] 在本实施例每隔时间ΔT进行一次台标检测，对M×ΔT时间内得到的M个的待检测台标进行识别后的候选台标进行概率统计，统计概率大于NM的候选台标即为最终识别结果，如果不存在概率值大于NM的候选台标，则不输出识别结果。其中，ΔT可以根据需要设置合适的时间长度，候选台标集合中的数量随着ΔT时间长度的增加而增大。\n[0038] 本发明实施例提供的台标识别方法中，首先通过计算所采集的视频帧图像相邻帧之间的变化图像来获得台标区域二值图像，再提取所述台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标，最后统计预先设置的时间段内得到的候选台标集合，再根据所述候选台标集合和预设的判决准则得到台标识别结果。对于半透明台标，由于台标半透明，所以在台标的边缘部分很难分清楚台标部分和背景部分，本发明实施例通过计算所采集的视频帧图像相邻帧之间的变化图像来获得台标区域的二值图像，因此台标所在区域的像素值基本没有发生变化，而背景部分变得模糊，并且使得背景部分没有较明显的纹理特征，可以更容易的分辨出台标区域，使得台标区域的检测更加准确。\n[0039] 另外，由于本实施例只需要对所采集的视频帧图像相邻帧之间的变化图像来进行处理，而不用像现有技术那样对所有采集的视频帧图像采用全局匹配的方法来分辨出台标区域，因此相对现有技术识别速度更快。\n[0040] 在本实施例中，可以在进行台标识别前（执行步骤S101前）预先生成台标模板库，该台标模板库中包括num个台标模板。具体生成过程为：\n[0041] 步骤1、指定包含台标的示例视频帧图像；\n[0042] 步骤2、使用中值滤波器去除该示例视频帧图像中的噪声；\n[0043] 步骤3、从该去除噪声的示例视频帧图像中手工提取台标部分；\n[0044] 步骤4、采用自适应阈值分割技术，去除手工提取的台标部分的背景信息，得到台标模板。\n[0045] 步骤5、生成台标模板库。\n[0046] 重复步骤1-5，即可可以生成多个台标模板，生成的台标模板保存在电视台台标模板库T{Ti,i=1:num}中，其中num表示电视台台标模板库中所保存的台标模板的数量。\n[0047] 实施例二\n[0048] 图2示出了本发明实施例二提供的台标识别的方法的实现流程，本发明实施例二提供的台标识别的方法主要包括：\n[0049] 在步骤S301中，采集机顶盒输出的视频帧图像。\n[0050] 在本实施例二中，计算视频帧图像相邻帧之间的变化图像，并提取所述变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像的步骤（上述步骤S102）具体可以通过本实施例中的步骤S302-S306来实现。\n[0051] 在步骤S302中，将所述视频帧图像变换成灰度图像F。\n[0052] 在本实施例中，在将视频帧图像转换为灰度图像F后，根据先验知识在灰度图像F中划定出台标的大致区域R1和R2（电视台标通常位于屏幕的右上角或左上角），其中R1和R2为 的矩形（矩形区域如图3所示），WIDTH和HEIGHT分别为灰度图像\nF的长和宽。在划分台标的大致区域后，后续只要针对所述灰度图像F中的区域R1和R2进行处理，这样可以节省计算量，提高台标识别的速度。\n[0053] 在步骤S303中，根据所述视频帧图像的灰度图像F，计算视频帧图像预设矩形区域的均值累积图像ACCi。\n[0054] 其中，i表示视频帧图像的帧号，第i帧视频帧图像的均值累积图像用ACCi表示，假定第i帧视频帧图像的灰度图像是imgi，则根据以下的公式（1）可以计算出第i帧视频帧图像预设矩形区域的均值累积图像ACCi：\n[0055] 如果i=1，则ACC1(x,y)=img1(x,y)\n[0056] 如果i>1，则\n[0057] 其中(x,y)表示图像中的每一个像素点的坐标。\n[0058] 在步骤S304中，根据所述视频帧图像的均值累积图像ACCi以及灰度图像imgi，计算所述视频帧图像的散度图像DIVi。\n[0059] 其中，第i帧视频帧图像的散度图像用DIVi表示，假定第i帧视频帧图像的灰度图像是imgi，则根据下面的公式（2）可以计算出第i帧视频帧图像的散度图像DIVi：\n[0060] 如果i=1，DIV1(x,y)=0；\n[0061] 如果i>1，DIVi(x,y)=DIVi-1(x,y)+abs(ACCi(x,y)-imgi(x,y)) （2）[0062] 其中(x,y)为图像中的每一个像素点的坐标。\n[0063] 在步骤S305中，根据所述视频帧图像的散度图像DIVi，计算所述视频帧图像相邻帧之间的变化图像VARi。\n[0064] 其中，第i帧视频帧图像与第i-1帧视频图像之间的变化图像用VARi表示，i表示视频帧图像的帧号，则根据以下的公式（3）可以计算出第i帧视频帧图像与第i-1帧视频图像之间的变化图像VARi：\n[0065] \n[0066] 其中(x,y)表示图像中的每一个像素点的坐标。\n[0067] 其中，经过步骤S305后，可以得到变化图像VARi。在变化图像中台标所在区域的像素值基本没有发生变化，而背景部分变得模糊，并且背景没有较明显的纹理特征，使得对于透明台标，台标区域的检测更加准确。\n[0068] 在步骤S306中，提取所述变化图像VARi的边缘，同时对所述变化图像的边缘采用自适应阈值分割处理，得到台标区域二值图像。\n[0069] 本实施例可以采用边缘检测Canny算子提取所述变化图像VARi的边缘，同时对所述变化图像VARi的边缘采用自适应阈值分割处理，得到台标区域二值图像，并用矩形框标记出台标区域二值图像。其中，在进行自适应阈值分割处理时，可以预先定义一个阀值，当图像的像素值大于所述阀值时，将所述图像的像素值赋值为1，否则赋值为0，这样就可以得到一个像素值为0和1的台标区域二值图像。\n[0070] 在 步 骤S307中，提 取 所 述 台 标 区 域 二值 图 像 的 HU不 变 矩 特 征{φ1,φ2,φ3,φ4,φ5,φ6,φ7}，构建特征向量φ，φ={φ1,φ2,φ3,φ4,φ5,φ6,φ7}。\n[0071] 其中，{φ1,φ2,φ3,φ4,φ5,φ6,φ7}是HU不变矩中的7个不变矩，这7个不变矩构成一组特征量，7个不变矩均具有旋转，缩放和平移不变性。\n[0072] 在步骤S308中，计算所述台标区域二值图像的HU不变矩特征与预先生成的台标模板库中各台标模板的HU不变矩特征之间的欧氏距离，与所述台标区域二值图像的HU不变矩特征距离最小的HU不变矩特征对应的台标模板确定为候选台标。\n[0073] 在本实施例中，设台标m是某待识别台标，计算该台标m二值图像与台标模板库T中各台标模板Ti的HU不变矩特征之间的欧氏距离，与台标m的HU不变矩特征的欧氏距离最小的HU不变矩特征所对应的台标模板即确定为候选台标，两者之间的欧氏距离表示如以下公式（4）所示；\n[0074] \n[0075] 若dismj=min{dismt}t,j∈T，则台标模板库中的j台标模板即为候选台标。\n[0076] 在步骤S309中，统计预先设置的时间段内得到的候选台标集合，再根据所述候选台标集合和预设的判决准则得到台标识别结果。\n[0077] 在本实施例中，每隔时间ΔT进行一次台标检测，对M×ΔT时间内得到的M个待检测台标进行识别后的候选台标进行概率统计，统计概率大于NM的候选台标即为最终识别结果，如果不存在概率值大于NM的候选台标，则本次不输出识别结果。\n[0078] 本实施例通过概率统计的方法输出识别结果，可以避免由于各种随机因素（如噪声）的干扰而影响到台标识别的准确性，提高识别的精度。\n[0079] 实施例三\n[0080] 图4示出了本发明实施例三提供的台标识别的方法的实现流程，本实施例三提高的台标识别方法主要包括：\n[0081] 在步骤S401中，采集机顶盒输出的视频帧图像。\n[0082] 在步骤S402中，计算所述视频帧图像相邻帧之间的变化图像，并提取所述变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像。\n[0083] 在步骤S403中，提取所述台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标。\n[0084] 在本实施例中，步骤S401-S403的执行过程和上述第一实施例中的S101-103相同，在此不再赘述。\n[0085] 在步骤S404中，统计预先设置的时间段内得到的候选台标，生成候选台标集合。\n[0086] 其中，预先设置的时间可以为ΔT的倍数。\n[0087] 在步骤S405中，判断当前采集的视频帧图像是否为换台图像。\n[0088] 在本实施例中，在采集机顶盒输出的视频帧图像后，将判断当前采集到的视频帧图像是否为单色图像（电视换台图像为单色图像），即判断是否发生电视换台的动作，若是，则执行步骤S406，若否，则循环执行步骤S405。\n[0089] 需要说明的是，本实施例中的步骤S405可以和上述步骤S402-S404并行执行。\n[0090] 在步骤S406中，检测到电视换台后，对当前候选台标集合中的候选台标根据预先设置的判决规则进行判决。\n[0091] 在本实施例中，采用NM判决准则，判决的条件是当前候选台标集合中是否存在概率值大于NM的候选台标，如果存在符合判决规则的候选台标，则执行步骤S407，否则，执行步骤S408。\n[0092] 在步骤S407中，如果存在概率值大于NM的候选台标，则输出台标识别结果。\n[0093] 在步骤S408中，如果不存在概率值大于NM的候选台标，则将候选台标集合归零。\n[0094] 本发明实施例，在检测到电视换台时，可以根据原先设定的判决准测来对当前的候选台标集合来进行台标识别，避免在识别过程受到换台图像的影响，进一步提高了台标识别精度。\n[0095] 实施例四\n[0096] 图5示出了本发明实施例四提供的台标识别的装置的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分，该装置能够实现上述实施例一中的方法。在本实施例中，该装置包括：图像采集单元51、台标区域获取单元52、候选台标构建单元53和台标识别单元54。\n[0097] 其中，图像采集单元51用于采集机顶盒输出的视频帧图像。\n[0098] 台标区域获取单元52用于计算所述图像采集单元51采集的视频帧图像相邻帧之间的变化图像，并提取所述变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像，采用台标区域获取单元52对视频帧图像的变化图像进行处理，台标所在区域的像素值基本没有发生变化，背景部分变得模糊，并且背景没有较明显的纹理特征，使得台标区域的检测更加准确，尤其适用于对半透明台标的检测。\n[0099] 候选台标构建单元53用于提取所述台标区域获取单元52得到的台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标。\n[0100] 由于各种随机因素（如噪声）的干扰，视频帧图像质量会退化，从而影响到台标检测和分类的准确性。为减小影响，提高台标识别的精度，通过所述装置的台标识别单元54统计预先设置的时间段内得到的候选台标集合，再根据所述候选台标构建单元53构建的候选台标集合和预设的判决准则得到台标识别结果。\n[0101] 具体可参照图1所示方法实施例，在此不再赘述。\n[0102] 实施例五\n[0103] 图6示出了本发明实施例五提供的台标识别的装置的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分，该装置能够实现上述实施例二中的方法。在本实施例中，该装置包括：图像采集单元61、台标区域获取单元62、候选台标构建单元63和台标识别单元64。\n[0104] 其中，图像采集单元61用于采集机顶盒输出的视频帧图像。\n[0105] 台标区域获取单元62用于计算所述视频帧图像相邻帧之间的变化图像，并提取所述变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像。\n[0106] 其中，台标区域获取单元62包括：灰度图像生成模块621、均值累积图像生成模块\n622、散度图像生成模块623、变化图像生成模块624和变化图像处理单元625。\n[0107] 其中，灰度图像生成模块621用于将所述视频帧图像变换成灰度图像；\n[0108] 均值累积图像生成模块622用于根据所述灰度图像生成模块621生成的灰度图像，计算所述视频帧图像的均值累积图像ACCi，所述ACCi的计算满足下述公式：\n[0109] ACC1(x,y)=img1(x,y) i=1\n[0110] \n[0111] 其中，i表示视频帧图像的帧号，imgi表示第i帧视频帧图像的灰度图像，(x,y)为灰度图像中的像素点的坐标；\n[0112] 散度图像生成模块623用于根据所述均值累积图像生成模块622生成的均值累积图像以及所述灰度图像生成模块621生成的灰度图像，计算所述视频帧图像的散度图像DIVi，所述DIVi的计算满足下述公式：\n[0113] DIV1(x,y)=0 i=1\n[0114] DIVi(x,y)=DIVi-1(x,y)+abs(ACCi(x,y)-imgi(x,y)) i>1\n[0115] 其中，i表示视频帧图像的帧号，imgi表示第i帧视频帧图像的灰度图像，(x,y)为灰度图像中的像素点的坐标；\n[0116] 变化图像生成模块624用于根据所述散度图像生成模块623生成的散度图像，计算所述视频帧图像相邻帧之间的变化图像VARi，所述VARi的计算满足下述公式：\n[0117] \n[0118] 其中，i表示视频帧图像的帧号，(x,y)为灰度图像中的像素点的坐标。\n[0119] 变化图像处理模块625用于提取所述变化图像生成模块624生成的变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像。\n[0120] 候选台标构建单元63用于提取所述台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标。\n[0121] 其中，所述候选台标构建单元63包括：特征提取模块631和候选台标生成模块\n632。\n[0122] 其中，特征提取模块631用于提取所述台标区域获取单元62获取的台标区域二值图像的HU不变矩特征；\n[0123] 候选台标生成模块632用于计算所述台标区域二值图像的HU不变矩特征与预先生成的台标模板库中各台标模板的HU不变矩特征之间的距离，与所述台标区域二值图像的HU不变矩特征距离最小的HU不变矩特征对应的台标模板为候选台标。\n[0124] 本实施例提供的台标识别的装置可以使用前述对应的方法实施例（第二实施例）中，具体可参照图2所示方法实施例，在此不再赘述。\n[0125] 实施例六\n[0126] 图7示出了本发明实施例六提供的台标识别的装置的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分，该装置能够实现上述实施例三中的方法。在本实施例中，该装置包括：图像采集单元71、台标区域获取单元72、候选台标构建单元73、台标识别单元74、换台检测单元75和台标重构单元76。\n[0127] 其中，图像采集单元71用于采集机顶盒输出的视频帧图像。\n[0128] 台标区域获取单元72用于计算所述视频帧图像相邻帧之间的变化图像，并提取所述变化图像的边缘，同时对所述变化图像的边缘采用自适应阈值处理，得到台标区域二值图像。\n[0129] 候选台标构建单元73用于提取所述台标区域二值图像的特征，将所述台标区域二值图像的特征与预先生成的台标模板库中的台标模板的特征进行匹配，根据匹配结果得到候选台标。\n[0130] 由于各种随机因素（如噪声）的干扰，视频帧图像质量会退化，从而影响到台标检测和分类的准确性。为减小影响，提高台标识别的精度，通过所述装置的台标识别单元74统计预先设置的时间段内得到的候选台标集合，再根据所述候选台标构建单元73构建的候选台标集合和预设的判决准则得到台标识别结果。\n[0131] 为了避免在发生换台动作时，不能够对台标做出有效的判断，所述装置还包括：换台检测单元75和台标重构单元76。\n[0132] 换台检测单元75用于检测图像采集单元71所采集的视频帧图像，判断所述视频帧图像是否为换台图像，所述换台图像是单色图像；\n[0133] 台标重构单元76用于当所述换台检测单元75检测到当前视频帧图像为换台图像时，则触发所述台标识别单元74对所述候选台标构建单元73构建的当前候选台标集合中的候选台标根据预先设置的判决规则进行判决，在所述台标识别单元74判决不存在符合判决准则的候选台标时，则将候选台标集合归零，重新构建候选台标集合。\n[0134] 具体可参照图4所示方法实施例，在此不再赘述。\n[0135] 在本发明实施例中，通过计算从机顶盒所采集的视频帧图像相邻帧之间的变化图像来获得台标区域，因此台标所在区域的像素值基本没有发生变化，背景部分变得模糊，并且背景没有较明显的纹理特征，使得台标区域的检测更加准确；另外，通过统计预先设置的时间段内得到的候选台标，再根据候选台标构建单元构建的候选台标集合和预设的判决准则得到台标识别结果，可以减小由于各种随机因素的干扰，提高台标识别的精度；此外，当检测到所采集的视频帧图像是换台图像时，对当前候选台标集合中的候选台标根据预先设置的判决规则进行判决，如果不存在符合判决准则的候选台标，则将候选台标集合归零，重新构建候选台标集合，避免了现有技术在发生换台动作时，不能够对台标做出有效判断的问题。\n[0136] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。