一种台标识别方法及系统

暂无

一种台标识别方法及系统\n技术领域\n[0001] 本发明涉及图像识别技术领域，特别涉及一种台标识别方法及系统。\n背景技术\n[0002] 电视台台标是区分电视台的重要标志，其包含了该电视台的台名、节目等重要语义信息，是实现视频分析、理解和检索的重要语意源之一。台标有效识别能对视频收视行为统计、节目预告等提供有效的支持，具有十分重要的研究和应用价值。\n[0003] 在电视播放时，图像中有些台标的像素点会随着复杂的背景变化而变化，尤其在半透明台标中这种现象更为明显，而且有些台标在边缘处是一个平滑渐变的过程，边缘特征不明显，这样就给台标的正确分割、台标特征的有效描述、以及台标的有效识别带来一定的困难，进而台标的识别准确度较低。\n[0004] 因而现有技术还有待改进和提高。\n发明内容\n[0005] 鉴于上述现有技术的台标的识别准确度较低的技术问题，本发明的目的在于提供一种台标识别方法及系统。\n[0006] 为了达到上述目的，本发明采取了以下技术方案：\n[0007] 一种台标识别方法，包括：\n[0008] A、提取待检测区域图像，在待检测区域图像中获取待检测图像的特征向量，计算其与预先存储的台标的特征向量的匹配度，选择大于或等于预设值的匹配度，获取与所选择的匹配度对应的台标信息；\n[0009] B、根据所获取的台标信息查找到对应的关系滤波函数，根据所述关系滤波函数计算其与所获取台标的相似度；\n[0010] C、获取最大的相似度，查找与最大相似度对应的台标信息，输出识别结果。\n[0011] 所述的台标识别方法中，在步骤A之前，所述的台标识别方法还包括：\n[0012] A0、采集各个台标正样本，并制作各台标的标准模板，获取各个台标的特征向量和关系滤波函数。\n[0013] 所述的台标识别方法中，所述步骤A具体包括：\n[0014] A1、提取包含台标的待检测区域图像；\n[0015] A2、在预先存储的台标库中选择一个台标的标准模板遍历所述待检测区域图像的一个区域，并计算当前区域的特征向量；\n[0016] A3、将所计算的特征向量与所选择台标的特征向量对比，计算匹配度；在匹配度大于或等于预设阈值时，执行步骤A4，否则遍历至下一个区域，继续计算当前区域的特征向量，直到遍历完所述待检测区域图像的所有区域；\n[0017] A4、以下一个台标的标准模板遍历所述待检测区域图像的一个区域，计算当前获得区域的特征向量，将所计算的特征向量与该下一个台标的特征向量对比，计算匹配度，直到预先存储的所有台标的标准模板均遍历所述待检测区域图像，获取大于或等于预设值的匹配度对应的台标信息。\n[0018] 所述的台标识别方法中，所述步骤B具体包括：\n[0019] B1、查询与所获取台标信息对应的台标的关系滤波函数，计算输出所述待检测图像在与所查询台标的相应关系滤波函数下的二维相关平面；\n[0020] B2、基于所述二维相关平面，计算所述待检测图像与对应台标的相似度，并判断是否完成其与所有与所获取台标信息对应的台标的相似度的计算；如果是，则执行步骤C，否则转到并执行步骤B1。\n[0021] 所述的台标识别方法中，在获取各个台标的特征向量之前，先获取每个台标的所有正样本的特征向量；在获取当前台标所有正样本的特征向量时，具体包括：\n[0022] A01、如果当前台标的一个正样本x中当前像素点(i,j)的像素值x(i,j)大于或等于该像素点的横坐标上的所有像素点的像素值的平均值与该像素点的纵坐标上的所有像素点的像素值的平均值之和的一半，则将当前像素值x(i,j)设为1，反之设为0；\n[0023] A02、将台标的正样本和标准模板进行归一化操作后得到的w×q大小的二维图像转成一维数组，得到当前正样本的特征向量pk，该特征向量pk为m行，一列；其中，所述ｗ为二维图像的长度，ｑ为二维图像的宽度，m为w×q；\n[0024] A03、获取当前台标的下一个正样本，重复步骤A01和A02，直到完成当前台标的所有正样本的特征向量。\n[0025] 所述的台标识别方法中，步骤A03中，当前台标的特征向量通过以下公式计算获得：\n[0026] 当 时，pf(i)=0\n[0027] 当 时，pf(i)=1\n[0028] 其中，j表示第j个样本，i表示第i个特征值，P(i,j)表示第j个正样本下的第i个特征值，pf为当前台标的特征向量，其为m（行）×1（列）的行列式，pf(i)为当前台标的特征向量pf中的第i个特征值。\n[0029] 所述的台标识别方法中，在步骤A0中，当前台标的滤波器的关系滤波函数为：\n[0030] h=D-1X(X+D-1X)-1u\n[0031] 其中， ,+表示复向量的共轭转置，Xk是xk的傅里叶变换，xk表示第k个正样本，Xk*是Xk的共轭转置矩阵；\n[0032] 并且，相关关系滤波函数在原点处还需满足以下限制和要求，即：\n[0033] X+h=du\n[0034] 其中，X是大小为d×N维的矩阵，u为选定的具体输出限定值，N为相关滤波函数的个数。\n[0035] 所述的台标识别方法中，所述待检测区域图像的特征向量与各台标的特征向量的匹配度计算公式为：\n[0036]\n[0037] 其中，p(i)为待检测区域图像的第i个特征值，pf(i)为当前台标的第i个特征值，d为d1×d2的正样本，d1表示正样本的长度，d2表示正样本的宽度。\n[0038] 所述的台标识别方法中，在步骤B中，所述相似度的计算公式为：\n[0039]\n[0040] 其中，peak为二维相关平面中的峰值，mean和σ分别为峰值周围有效区域内的平均值和标准差；\n[0041] 所述二维相关平面通过以下公式获得：\n[0042]\n[0043] 其中，h(x,y)为二维滤波器，l(x,y)为当前遍历图像。\n[0044] 一种台标识别系统，其包括：\n[0045] 图像提取模块，用于提取待检测区域图像；\n[0046] 存储模块，用于存储各个台标的特征向量和关系滤波函数；\n[0047] 处理模块，用于在待检测区域图像中获取待检测图像的特征向量，计算其与预先存储的台标的特征向量的匹配度，选择大于或等于预设值的匹配度，获取与所选择的匹配度对应的台标信息；以及根据所获取得台标信息查找到对应的关系滤波函数，根据所述关系滤波函数计算其与所获取台标的相似度；\n[0048] 识别模块，用于获取最大的相似度，查找与最大相似度对应的台标信息，输出识别结果。\n[0049] 相较于现有技术，本发明提供的台标识别方法及系统，通过计算待检测图像的特征向量与各台标的特征向量的匹配度获取包含的台标信息，进行初步判断，再计算待检测图像与相应台标的相似度，提取相似度最大的台标信息，实现在忽略颜色和现状信息的条件下，对台标进行有效的识别，在提高有效率的同时提高了识别速度。\n附图说明\n[0050] 图1为本发明提供的台标识别方法的方法流程图。\n[0051] 图2为本发明提供的台标识别方法中遍历待检测图像的示意图。\n[0052] 图3为本发明提供的台标识别方法中利用二维相关输出平面计算相似度的示意图。\n[0053] 图4为本发明提供的台标检测系统的结构框图。\n具体实施方式\n[0054] 本发明提供一种台标识别方法及系统，采用由粗到细的识别方法，首先通过各个台标的特征向量值获取待检测图像包含的台标信息，缩小检测范围；然后利用相关滤波函数进行精确识别，查找相似度最大的台标信息，得出识别结果。\n[0055] 为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。\n[0056] 请参阅图1，其为本发明提供的台标识别方法的方法流程图。本发明提供的台标识别方法包括：\n[0057] S100、提取待检测区域图像，在待检测区域图像中获取待检测图像的特征向量，计算其与预先存储的台标的特征向量的匹配度，选择大于或等于预设值的匹配度，获取与所选择的匹配度对应的台标信息；\n[0058] S200、根据所获取的台标信息查找到对应的关系滤波函数，根据所述关系滤波函数计算其与所获取台标的相似度；\n[0059] S300、获取最大的相似度，查找与最大相似度对应的台标信息，输出识别结果。\n[0060] 本发明在对待检测图像进行台标识别之前，需要在大量的样本中训练得到各个台标的相关数据（如各台标的特征向量和关系滤波函数），并保存。因此在步骤S100之前，所述的台标识别方法还包括：S10、采集各个台标正样本，并制作各台标的标准模板，获取各个台标的特征向量和关系滤波函数。\n[0061] 本发明实施例中，在获取各个台标的特征向量时，先获取每个台标的所有正样本的特征向量；因此，在获取当前台标所有正样本的特征向量之前，需先采集各个台标的正样本，并且相同台标的正样本大小一致，均为d1×d（2 d1表示正样本的长度，d2表示正样本的宽度），并以完全包含台标区域为宜。每个台标根据视频播放内容需采集不同的正样本，所有正样本中除台标相同之外，其它部分（如背景图案、颜色等）不同。\n[0062] 之后，制作各台标的标准模板I，台标的标准模板I应为不包含任何背景的二值化图像，其大小与对应的正样本大小一致，每个台标的标准模板I为一个即可。\n[0063] 之后，对所有正样本和标准模板I进行归一化操作，将图像大小统一归一化至w×q大小（例如64×64），缩小正样本和标准模板I的大小，从而加快计算速度。其中，ｗ为二维图像的长度，ｑ为二维图像的宽度。\n[0064] 在归一化操作完成后，再计算每个台标的所有正样本的特征向量，其具体包括：\n[0065] S11、如果当前台标的一个正样本x中当前像素点(i,j)的像素值x(i,j)大于或等于该像素点的横坐标上的所有像素点的像素值的平均值与该像素点的纵坐标上的所有像素点的像素值的平均值之和的一半，则将当前像素值x(i,j)设为1，反之设为0；\n[0066] S12、将台标的正样本和标准模板进行归一化操作后得到的w×q大小的二维图像转成一维数组，得到当前正样本（即第k个样本）的特征向量pk，该特征向量pk为m行，一列；其中，所述ｗ为二维图像的长度，ｑ为二维图像的宽度，m为w×q；\n[0067] S13、获取当前台标的下一个正样本，重复步骤S11和S12，直到完成当前台标的所有正样本的特征向量。\n[0068] 以计算湖南卫视的所有正样本的图像特征向量为例，在计算某一个正样本x时，该正样本的特征向量计算方式如下：\n[0069] a）如果该正样本x中当前像素点(i,j)的值x(i,j)大于或等于该行（即该像素点的横坐标）上的所有像素点的像素值的平均值与该列（即该像素点的纵坐标）上的所有像素点的像素值的平均值和的一半，则当前像素值x(i,j)设为1，反之设为0。具体计算公式如下：\n[0070]\n[0071] Hj,Vi分别表示在标准模板I的掩模下第j行所有像素点的像素值的平均值和第i列所有像素点的像素值的平均值。其中，Hj，Vi的计算公式如下：\n[0072]\n[0073]\n[0074] 上式中aj为标准模板I中第j行不为零像素点的个数，bi为标准模板I中第i列不为零像素点的个数，I(i,j)表示标准模板I在像素点(i,j)的像素值。\n[0075] b）将得到的w×q大小的二维图像转成一维数组，得到当前正样本（即第k个样本）的特征向量pk，该特征向量pk为m(m=w×q)行，一列。\n[0076] 获取下一个样本，重复a，b过程，从而获取湖南卫视下所有正样本的特征向量集P=[p1,p2,p3,......,pk,......,pn]，其中n为正样本个数。\n[0077] 具体地，所有样本的特征向量集P为：\n[0078]\n[0079]\n[0080] 其中，pk为第k个正样本下的特征向量（即上述当前正样本的特征向量）；P(l,k)为第k个正样本下的第l个特征数据；1≤l≤m，m为w×q，k为样本的序号数，即第k个样本，并且\n1≤k≤n，n为正样本的个数。\n[0081] 本发明实施例中，在获取一个台标的所有正样本的特征向量之后，还需获取当前台标的特征向量pf，其计算公式如下：\n[0082] 当 时，pf(i)=0\n[0083] 当 时，pf(i)=1\n[0084] 其中，j表示第j个样本，i表示第i个特征值，P(i,j)表示第j个正样本下的第i个特征值，pf为当前台标的特征向量，其为m（行）×1（列）的行列式，pf(i)为当前台标的特征向量pf中的第i个特征值。\n[0085] 同样以获取湖南卫视的特征向量为例：在上述步骤中得到的所有样本的特征向量集P为m（行）×n(列)的行列式，其中，m=w×q，设当前台标（如湖南卫视）的特征向量为pf，则其为m（行）×1（列）的行列式，则pf的值通过上述获取当前台标的特征向量的计算公式获得。\n[0086] 之后，按照上述湖南卫视的特征向量计算方法，计算所有台标（如CCTV1、山西卫视、江西卫视、天津卫视、……）的特征向量。\n[0087] 在进行台标识别之前，本发明还需在获取所有台标的正样本的基础上，获取所有台标的关系滤波函数，其计算方式如下：\n[0088] h=D-1X(X+D-1X)-1u\n[0089] 上述关系滤波函数利用拉格朗日乘子法求得，关系滤波器是在频率域进行模式识别的基本工具，其最常用的算法是最小平均相关能量滤波器（MACE）。如上所说，（以湖南卫视为例）有n幅大小为d1×d2的样本xk，令d=d1×d2，则输入正样本经过关系滤波函数h后的输出图像gk(n)为：\n[0090]\n[0091] 其中，假设xk(x,y)为二维输入信号，即第k个样本xk的二维输入信号，h(x,y)为二维滤波器，gk(x,y)为第k个样本的二维相关平面，l(x,y)为当前遍历图像。\n[0092] 根据Parseval定理（帕塞伐尔定理），最小平均相关能量滤波器的最优化目标就是使得图像的平均能量（ACE）最小，即：\n[0093]\n[0094] \n[0095] 其中， ，+表示复向量的共轭转置，Xk是xk的傅里叶变换，Xk*是Xk\n的共轭转置矩阵。\n[0096] 并且，相关的关系滤波函数在原点处还需满足以下限制和要求，即：\n[0097] X+h=du\n[0098] 其中，X是大小为d×N维的矩阵，其列向量为训练图像的傅立叶变换的向量表示形式，u为选定的具体输出限定值，N为可能的相关滤波函数个数。\n[0099] 具体实施过程中，每个台标下的关系滤波函数h不一样，但均可通过重复上述计算过程，获取所有台标下（如CCTV1、山西卫视、江西卫视、天津卫视、……等）的MACE滤波器的关系滤波函数h。\n[0100] 本发明在台标的特征向量和关系滤波函数确定之后，才能进行台标的快速精确识别。具体实施过程中，所述步骤S100具体包括：\n[0101] 第一步、提取包含台标的待检测区域图像。如图2所示，电视播放时，台标一般位于显示屏的左上角区域或者右上角区域，因此本实施例对台标进行识别时，需提取视频左上角和右上角区域的图像。\n[0102] 第二步、在预先存储的台标库中选择一个台标的标准模板遍历所述待检测区域图像的一个区域，并计算当前区域的特征向量。其中，所述标准模板小于所述图像区域。请继续参阅图2，在计算某个台标与待检测区域图像的匹配度时，以该台标标准模块库中的标准模板大小d1×d2，来遍历所述待检测区域图像的一个区域，提取遍历图像l，如图2中粗实线矩形框表示的区域。\n[0103] 第三步、将所计算特征向量与所选择台标的特征向量对比，计算匹配度；在匹配度大于或等于预设阈值时，执行第四步，否则执行第五步。当匹配度大于或等于预设阈值时，表示该待检测图像中包含该台标信息；如果匹配度小于预设阈值时，则需要遍历待检测区域图像的下一个区域，如图2所示的虚线框区域，再作判断。\n[0104] 第四步、以下一个台标的标准模板遍历所述待检测区域图像的一个区域，计算当前获得区域的特征向量，将所计算的特征向量与该下一个台标的特征向量对比，计算匹配度，直到预先存储的所有台标的标准模板均遍历所述待检测区域图像，获取大于或等于预设值的匹配度对应的台标信息，供后续进行精确识别。\n[0105] 第五步、遍历至下一个区域，继续计算当前区域的特征向量，直到遍历完所述待检测区域图像的所有区域。如果当前台标的标准模板遍历该待检测区域图像的所有区域后，其匹配度均小于预设阈值时，则表示该待检测区域图像中不包含当前台标信息，则再以下一个台标的标准模板遍历所述待检测区域图像。如果所有台标的标准模板均遍历该待检测区域图像后，其匹配度均大于或等于预设阈值时，则表示该待检测区域图像中步包含台标信息。\n[0106] 本发明实施例中，每次遍历至新位置时，按上述第五步的方式获取当前区域图像的特征向量p，并将该特征向量与当前台标的特征向量pf进行比对，计算遍历图像l（即待检测图像）的特征向量与当前台标的特征向量的匹配度Ma，其匹配度Ma计算方式为：\n[0107]\n[0108] 其中，p(i)为待检测区域图像的第i个特征值，pf(i)为当前台标的第i个特征值，d为d1×d2的xk正样本，xk表示第k个正样本。\n[0109] 在所有台标遍历待检测区域图像后，将匹配度大于或等于T（m Tm为预设阈值）的台标信息确定为待检测图像包含的台标信息，在计算匹配度之后，只需判断该待检测区域图像可能包含这些匹配度大的台标信息，这样大大缩小了台标识别范围。本发明通过步骤S100确定当前遍历区域的匹配度，并与阈值进行比较，如果大于或等于阈值，则不需要遍历其它区域，譬如理论上一个待检测区域需要遍历100次，但在第30次时，其匹配度大于或等于阈值，则剩余的70次就不需遍历了，提高了台标的识别速度。\n[0110] 因此本发明在计算完匹配度之后，再针对这些台标信息作相似度判断。所述步骤S200具体包括：\n[0111] 第一步、查询与所获取台标信息对应的台标的关系滤波函数，计算输出所述待检测图像在与所查询台标的相应关系滤波函数下的二维相关平面；\n[0112] 第二步、基于所述二维相关平面，计算所述待检测区域图像与对应台标的相似度，并判断是否完成其与所有与所获取台标信息对应的台标的相似度的计算；如果是，则执行步骤S300，否则获取台标库中下一个台标的关系滤波函数，执行步骤第一步。\n[0113] 在进行相似度判断时，利用关系滤波函数进行精确识别，其相似度的计算公式为：\n[0114]\n[0115] peak为二维相关平面中的峰值，mean和σ分别为峰值周围有效区域内的平均值和标准差；\n[0116] 其中，所述二维相关平面通过以下公式获得：\n[0117]\n[0118] y(x,y)为当前遍历图像的二维相关平面，h(x,y)为二维滤波器，l(x,y)为当前遍历图像。\n[0119] 同样以湖南卫视（如，其为第m个台标）为例，先计算该位置下的遍历图像l在当前台标A（湖南卫视）相关滤波器h下的二维相关平面y(x,y)。\n[0120] 之后，再计算当前区域与台标A（如湖南卫视）的相似度S1。由于输出平面y是一个二维相关平面，故采用相关能量比作为相似度匹配指标，依相关能量原理，其相似度为：\n[0121]\n[0122] 其中，peak为二维相关平面中的峰值（y中的最大值），即peak=max(y)，设y中最大值（峰值）的位置为(x,y)，mean和σ分别为最大值（即峰值）周围有效区域内（例如如图3区域G中不包含区域R的部分）的平均值和标准差。其中区域G为以峰值peak为中心，以边长为g的正方形区域；\n[0123] 区域R为以峰值peak为中心，以边长为r的正方形区域，而g大于r。所述有效区域为：区域G-区域R，在图3中，区域R的大小一般为区域G的 本实施例中取 （即长和宽各取 ），如果区域G的大小为20×20，则区域R的大小为5×5。\n[0124] 在获取第m个台标的相似度之后，再按上述相似度计算方式获取包含的台标信息的下一个台标B（即第m+1个台标），直至计算完所有可能台标的相似度{S1、S2、S3、……、Sm、……}。\n[0125] 之后，查找待检测图像与所有可能台标的相似度{S1、S2、S3、……、Sm、……}的最大值，如max{S1、S2、S3、……、Sm、……}=Sm，则表示待检测图像中含有标准模板库中第m个台标信息，即第m个台标信息相似度最大，为待检测图像中包含的台标信息，完成台标识别。\n[0126] 以中央台为例，在步骤S100中计算匹配度时，得到待检测区域图像包含的中央一台、中央三台和中央七台的台标信息。然后在步骤S200中，计算待检测图像的相应关系滤波函数与中央一台、中央三台、中央七台的关系滤波函数的相似度，如果计算获得中央一台的相似度最大，则直接输出识别结果为中央一台。\n[0127] 为了提高识别精度，本发明还可以在遍历所有待检测区域图像的同时计算匹配度；然后将所有匹配度进行比较，获取大于或等于阈值的匹配度；再计算相应台标的关系滤波函数与所获取台标的相似度，识别出台标。假设，理论上一个待检测区域总共需要遍历\n100次，得到100个匹配度，再获取最大的匹配度与阈值作比较；其具体包括：针对每一个台标遍历的该待检测区域都计算得到多个匹配度，取最大的匹配度；因而有多个台标就对应有多个最大的匹配度；之后将这些最大匹配度与阈值进行比较，获取那些与大于或等于阈值的匹配度对应的台标信息；之后计算在所获取台标下的相似度，获取最大的相似度，输出识别结果。例如总共有100个台标，本发明先保存这100个台标的特征向量，获取当前待检测图像的特征向量，将该特征向量与保存的100个特征向量分别进行对比计算，得到100个台标的特征向量匹配度，若该100个台标的特征向量匹配度有20个大于或等于阈值Tm，那么获取这20个台标对应的关系滤波函数进行下一步的计算，即图像中含有这20个台标的可能性较大，需要用关系滤波函数进行进一步的确定。\n[0128] 基于上述的台标识别方法，本发明还相应提供一种台标识别系统，其包括图像提取模块101、存储模块102、处理模块103和识别模块104，所述图像提取模块101、存储模块\n102和识别模块104均连接处理模块103。\n[0129] 其中，图像提取模块101用于提取待检测区域图像。存储模块102用于存储各个台标的特征向量和关系滤波函数。处理模块103用于在待检测区域图像中获取待检测图像的特征向量，计算其与预先存储的台标的特征向量的匹配度，选择大于或等于预设值的匹配度，获取与所选择的匹配度对应的台标信息；以及根据所获取得台标信息查找到对应的关系滤波函数，根据所述关系滤波函数计算其与所获取台标的相似度。所述识别模块104用于获取最大的相似度，查找与最大相似度对应的台标信息，输出识别结果。\n[0130] 本实施例中，所述处理模块103还用于计算各个台标的特征向量和关系滤波函数，供台标识别时进行匹配度和相似度计算。由于该台标识别系统中各个模块的功能已在上述台标识别方法中进行了详细描述，此处不再赘述。\n[0131] 综上所述，本发明通过缩放待检测图像至统一大小，获取待检测台标的特征向量值，并计算其与各个台标的特征向量值的匹配度，通过匹配度大小缩小台标识别范围；再来获取台标的关滤波函数，计算待检测图像与该关滤波函数相对应台标的相似度，找出相似度最大的台标信息，实现了在各种复杂的背景中能准确、快捷地识别台标信息，能够为多媒体技术的视频自动搜索、收录、分析和检索提供有效的技术支持。\n[0132] 可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。