1.一种基于分层感知的目标检索方法,其特征在于实现步骤如下:
步骤(1)将待检索目标归一化后用直方图分布进行描述;
步骤(2)构造被检索视频单帧图像的空间闭包椭圆镞区域,定义为搜索粒子群,用直方图分布描述粒子,寻找与待检索目标相似度度量高于一定值的粒子,这些粒子所在区域就是目标可能处于的大致位置,实现了低分辨率的目标感知;
步骤(3)通过在上述目标的大致位置附近随机生成2W个多尺度、多邻域椭圆镞区域,定义为聚焦粒子群,用直方图分布描述粒子,进行多尺度、多邻域的粒子相似度匹配,得到目标在被检索视频的单帧图像中的精确匹配位置,实现高分辨率的目标定位;
步骤(4)综合被检索视频中多帧图像的匹配结果,确定待检索目标是否出现在被检索视频中,并给出匹配度的可视化灰色定性描述图;
所述步骤(2)具体实现步骤如下:
步骤(2.1)布设搜索粒子群,所述搜索粒子群布设如下:在第i帧图像Pi中均匀选择N1个点作为“基本粒子群”Si1={sij1,j=1,...,N1}的中心,粒子长轴半长Hx均相等、短轴半长Hy均相等,Hx和Hy取满足如下两个条件的最小值:(a)粒子所在椭圆镞 为Pi的闭包,即满足 (b)粒子两两重合度不小于10%,即 j
≠k;再在Pi中设置粒子群Si1的翻转粒子群Si2={sij2,j=1,...,N1},使得sij2与sij1中心重合,sij2的长轴半长Hx'等于sij1的短轴半长Hy、sij2的短轴半长Hy'等于sij1的长轴半长Hx,Si1∪Si2组成了搜索粒子群;
步骤(2.2)在搜索粒子群中,通过计算两个粒子分布之间的相似性度量,寻找与待检索目标相似度度量高于某个设定值的粒子,两个粒子分布p={p(v)}v=1,...,m和q={q(v)
}v=1,...,m之间的相似性度量为如下的Bhattacharyya系数:
步骤(2.3)记录下相似度高于设定值的粒子信息,这些粒子所在区域就是目标可能处于的大致位置,这些区域的并集就是步骤(3)需考虑的搜索范围,其它区域不再进行搜索。
2.根据权利要求1所述的基于分层感知的目标检索方法,其特征在于:所述步骤(1)的具体实现为:
步骤(1.1)将待检测目标按比例缩小到宽80像素、高152像素,并将其看做粒子所述粒子定义如下:粒子s=(x,y,Hx,Hy)是目标可能
覆盖范围的一个椭圆描述子,其中(x,y)是椭圆Os的中心坐标,(Hx,Hy)分别是椭圆的长轴半长和短轴半长;
步骤(1.2)将粒子so用直方图刻画,所述粒子直方图分布定义如下:采用HSV空间中的大小为8×8×4的直方图来描述粒子s所在椭圆区域Os的图像特征,直方图由函数h(xi)=j,xi∈Os,j∈{1,2,...,256}确定,Os中像素的色彩分布py={py(v)}v=1,...,m由下式确定:
其中,I是Os中像素的个数,δ是Kronecker delta函数,参数 归一化因子
以确保 m=8×8×4=256。
3.根据权利要求1所述的基于分层感知的目标检索方法,其特征在于:所述步骤(3)通过在上述目标的大致位置布设聚焦粒子群,进行多尺度、多邻域的粒子相似度匹配,实现高分辨率的目标定位,得到目标在待检索视频的单帧图像中的精确匹配位置,具体实现步骤如下:
步骤(3.1)聚焦粒子群中的粒子是满足步骤(2)条件的搜索粒子的多尺度、多邻域拓展,确定聚焦粒子群如下:对搜索粒子群中的粒子j(记为sj=(xj,yj,Hx,j,Hy,j)),按如下步骤生成聚焦粒子群Si,j3∪Si,j4:
步骤(3.1.1)随机生成W个不重复的取值于[0.8,1]的随机数{αk}k=1,...,W和W个不重复的取值于[0.1,0.3]的随机数{βk}k=1,...,W,则 其中:
1
sj,k={xj×(1-βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},
sj,k2={xj×(1-βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},
sj,k3={xj×(1+βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},
sj,k4={xj×(1+βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},
sj,k5={xj,yj,Hx,j×αk,Hy,j×αk};
步骤(3.1.2)随机生成W个不重复的取值于[1,1.2]的随机数{αk}k=1,...,W和W个不重复的取值于[0.1,0.3]的随机数{βk}k=1,...,W,则 其中:
1
sj,k={xj×(1-βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},
sj,k2={xj×(1-βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},
sj,k3={xj×(1+βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},
sj,k4={xj×(1+βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},
5
sj,k={xj,yj,Hx,j×αk,Hy,j×αk};
步骤(3.2)计算聚焦粒子群中的粒子与带检索目标粒子相似度度量,根据度量值进行定性映射,映射值满足一定条件的所有聚焦粒子所在位置的均值,就是在待检索视频的单帧图像中的精确匹配位置;自此实现了单帧图像中的目标定位,粒子的相似性度量是粒子椭圆区域图像的匹配度,人类对匹配度的感知是定性的,定性映射定义如下:
4.根据权利要求1所述的基于分层感知的目标检索方法,其特征在于:所述步骤(4)综合被检索视频中多帧图像的匹配结果,确定待检索目标是否出现在被检索视频中,并给出匹配度的可视化定性描述图,具体实现步骤如下:
步骤(4.1)在被检索视频Dest的M帧图像中,将匹配的帧序号依次排列,若存在连续T0帧均匹配的情形,则判定待检索目标出现在被检索视频中,出现时刻由连续匹配帧序列的首末帧序号标记;否则判定待检索目标未出现在被检索视频中;
步骤(4.2)给出匹配度的可视化定性描述图,用于直观显示目标在被检索图像G中的局部相似度,所述匹配度的可视化定性描述图是指由下式定义的灰度图:
{(x,y,f(x,y))|x∈[0,width],y∈[0,height]} (4)
其中,f(x,y)为定性白化权函数,width、height分别为图像的宽和高,这里将待检索目标在被检索图像G中的位置信息表示成如下区间灰数四元组:
其中 依次为匹配对象在G中的中心横坐标x、中心纵坐标y、长轴半长Hx
和短轴半长Hy的灰数;假设 服从各变量独立的多元高斯分布,G中布设的
粒子群为{(xi,yi,Hx,i,Hy,i),i=1,...,N},粒子群与待检索目标的相似性度量值为{ρi,i=
1,...,N},则表示 的白化权函数如下:
由上式可知,该白化权函数取值于定性集合。
一种基于分层感知的目标检索方法\n技术领域\n[0001] 本发明涉及图像模式识别领域,尤其涉及一种基于分层感知的目标检索方法。\n背景技术\n[0002] 基于内容的目标检索技术是指通过计算机对图像(或视频)的内容进行分析,自动地提取出图像(或视频)中包括颜色、纹理、空间等各种特征信息,经过相似性判别和推理,最后检索出与其相类似的目标。随着图像和视频信息量的不断增加,这种基于内容的目标检索技术的研究具有重大的理论价值和广阔的应用前景,其关键技术在于对目标特征信息的提取和匹配。\n[0003] 目标的特征匹配就是目标间的特征值进行相似性度量,目前特征匹配大致分为两种:完全匹配和相似性匹配。所谓完全匹配是指目标特征值的精确匹配,两者完全相同;相似性匹配是指当目标特征值满足某些条件时,就认为两个目标相同。因为技术手段的差异性,相似目标间的特征值不可能是完全一样的,因此,相似性匹配是目前目标检索的主要方法之一,如何在匹配过程中消除不同目标的视角、形变、尺度、色彩分布等方面的差异性是需要重点考虑的问题,也是各种目标检索方法效果存在差别的主因之一。\n[0004] 一个好的目标检索方法应该符合人类视觉系统的感知和判断。人类视觉系统是分层次感知目标的,首先是低分辨率的目标搜索,其次是高分辨率的目标定位,实现对目标的深层次理解和感知。\n发明内容\n[0005] 本发明技术解决问题:克服现有技术的不足,提供一种基于分层感知的目标检索方法,通过模拟人类视觉系统感知和推理机制,达到提高目标定位和检索精度的目的。\n[0006] 本发明技术解决方案:一种基于分层感知的目标检索方法,本发明所述的目标检索是指给定待检索目标图像后,在被检索视频中寻找待检索目标,计算出目标在视频图像中的精确位置。为实现上述目的,本发明采用分层感知策略,将目标搜索过程当作灰色系统的白化过程,并给出匹配度的可视化定性描述。实现步骤如下:\n[0007] 步骤(1)将待检索目标归一化后用直方图分布进行描述;\n[0008] 步骤(2)构造被检索视频单帧图像的空间闭包椭圆镞区域,定义为搜索粒子群,用直方图分布描述粒子,寻找与待检索目标相似度度量高于一定值的粒子,这些粒子所在区域就是目标可能处于的大致位置,实现了低分辨率的目标感知;\n[0009] 步骤(3)通过在上述目标的大致位置附件随机生成2W个多尺度、多邻域椭圆镞区域,定义为聚焦粒子群,用直方图分布描述粒子,进行多尺度、多邻域的粒子相似度匹配,得到目标在被检索视频的单帧图像中的精确匹配位置,实现高分辨率的目标定位;\n[0010] 步骤(4)综合被检索视频中多帧图像的匹配结果,确定待检索目标是否出现在被检索视频中,并给出匹配度的可视化灰色定性描述图。\n[0011] 所述步骤(1)的具体实现为:\n[0012] 步骤(1.1)将待检测目标按比例缩小到宽80像素、高152像素,并将其看做粒子s'=(x',y',Hx',Hy')=(40,76,40,76),所述粒子定义如下:粒子s=(x,y,Hx,Hy)是目标可能覆盖范围的一个椭圆描述子,其中(x,y)是椭圆Os的中心坐标,(Hx,Hy)分别是椭圆的长轴半长和短轴半长。\n[0013] 步骤(1.2)将粒子s'用直方图刻画,所述粒子直方图分布定义如下:本发明中采用HSV空间中的大小为8×8×4的直方图来描述粒子s所在椭圆区域Os的图像特征,直方图由函数h(xi)=j,xi∈Os,j∈{1,2,...,256}确定,Os中像素的色彩分布py={py(v)}v=1,...,m由下式确定:\n[0014]\n[0015] 其中,I是Os中像素的个数,δ是Kronecker delta函数,参数 归一化\n因子 以确保 m=8×8×4=256。\n[0016] 所述步骤(2)具体实现步骤如下:\n[0017] 步骤(2.1)布设搜索粒子群,所述搜索粒子群布设如下:在第i帧图像Pi中均匀选择N1个点作为“基本粒子群”Si1={sij1,j=1,...,N1}的中心,粒子长轴半长Hx均相等、短轴半长Hy均相等,Hx和Hy取满足如下两个条件的最小值:(a)粒子所在椭圆镞 为Pi的闭包,即满足(b)粒子两两重合度不小于10%,即\n再在Pi中设置粒子群Si1的翻转粒子群Si2={sij2,j=1,...,N1},使得sij2与sij1中心重合,sij2的长轴半长Hx'等于sij1的短轴半长Hy、sij2的短轴半长Hy'等于sij1的长轴半长Hx,Si1∪Si2组成了搜索粒子群;\n[0018] 步骤(2.2)在搜索粒子群中,通过计算两个粒子分布之间的相似性度量,寻找与待检索目标相似度度量高于某个设定值的粒子,两个粒子分布p={p(v)}v=1,...,m和q={q(v)}v=1,...,m之间的相似性度量为如下的Bhattacharyya系数:\n[0019]\n[0020] 步骤(2.3)记录下相似度高于设定值的粒子信息,这些粒子所在区域就是目标可能处于的大致位置,这些区域的并集就是步骤(4)需考虑的搜索范围,其它区域不再进行搜索。\n[0021] 所述步骤(3)通过在上述目标的大致位置布设“聚焦粒子群”,进行多尺度、多邻域的粒子相似度匹配,实现高分辨率的目标定位,得到目标在待检索视频的单帧图像中的精确匹配位置。具体实现步骤如下:\n[0022] 步骤(3.1)“聚焦粒子群”中的粒子是满足步骤(3)条件的搜索粒子的多尺度、多邻域拓展,确定聚焦粒子群如下:对搜索粒子群中的粒子j(记为sj=(xj,yj,Hx,j,Hy,j)),按如下步骤生成聚焦粒子群Si,j3∪Si,j4:\n[0023] 步骤(3.1.1)随机生成W个不重复的取值于[0.8,1]的随机数{αk}k=1,...,W和W个不重复的取值于[0.1,0.3]的随机数{βk}k=1,...,W,则 其\n中:\n[0024] sj,k1={xj×(1-βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},\n[0025] sj,k2={xj×(1-βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},\n[0026] sj,k3={xj×(1+βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},\n[0027] sj,k4={xj×(1+βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},\n[0028] sj,k5={xj,yj,Hx,j×αk,Hy,j×αk};\n[0029] 步骤(3.1.2)随机生成W个不重复的取值于[1,1.2]的随机数{αk}k=1,...,W和W个不重复的取值于[0.1,0.3]的随机数{βk}k=1,...,W,则 其\n中:\n[0030] sj,k1={xj×(1-βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},\n[0031] sj,k2={xj×(1-βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},\n[0032] sj,k3={xj×(1+βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},\n[0033] sj,k4={xj×(1+βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},\n[0034] sj,k5={xj,yj,Hx,j×αk,Hy,j×αk}。\n[0035] 步骤(3.2)计算聚焦粒子群中的粒子与带检索目标粒子相似度度量,根据度量值进行定性映射,映射值满足一定条件的所有聚焦粒子所在位置的均值,就是在待检索视频的单帧图像中的精确匹配位置,自此实现了单帧图像中的目标定位。粒子的相似性度量是粒子椭圆区域图像的匹配度,人类对匹配度的感知是定性的,定性映射定义如下:\n[0036]\n[0037] 所述步骤(4)综合被检索视频中多帧图像的匹配结果,确定待检索目标是否出现在被检索视频中,并给出匹配度的可视化定性描述图具体实现步骤如下:\n[0038] 步骤(4.1)在被检索视频Dest的M帧图像中,将匹配的帧序号依次排列。若存在连续T0帧均匹配的情形,则判定待检索目标出现在被检索视频中,出现时刻由连续匹配帧序列的首末帧序号标记;否则判定待检索目标未出现在被检索视频中。\n[0039] 步骤(4.2)给出匹配度的可视化定性描述图,用于直观显示目标在被检索图像G中的局部相似度,所述匹配度的可视化定性描述图是指由下式定义的灰度图:\n[0040] {(x,y,f(x,y))|x∈[0,width],y∈[0,height]} (4)\n[0041] 其中,f(x,y)为定性白化权函数,width、height分别为图像的宽和高。这里将待检索目标在被检索图像G中的位置信息表示成如下区间灰数四元组:\n[0042]\n[0043] 其中 依次对应匹配对象在G中的中心横坐标x、中心纵坐标y、长轴\n半长Hx和短轴半长Hy的灰数。假设 服从各变量独立的多元高斯分布,G中\n布设的粒子群为{(xi,yi,Hx,i,Hy,i),i=1,...,N},粒子群与待检索目标的相似性度量值为{ρi,i=1,...,N},则定义 的白化权函数如下:\n[0044]\n[0045]\n[0046] 由定义可知,该白化权函数取值于定性集合。\n[0047] 本发明与现有技术相比优点在于:\n[0048] (1)本发明可实现在视频片段或单帧图像中定位被检索目标,从而实现视频库或图像库中的目标检索;\n[0049] (2)本发明模拟人类视觉的分层感知模型,模拟人类对灰色系统的定性描述思维,是一种对拟人模型应用的探索;\n[0050] (3)本发明可以有效消除因视角、形变、尺度、色彩分布等造成的目标定位不准;\n[0051] (4)本发明可以在不进行视频目标前景/背景检测的前提下,从视频的第一帧开始进行目标检索和定位。\n附图说明\n[0052] 图1为本发明的整体思路流程框图;\n[0053] 图2为本发明中目标匹配流程图;\n[0054] 图3为目标匹配效果示意图,其中(a)为带检索目标图像,(b)为被检索视频中某一帧的匹配目标图。\n具体实施方式\n[0055] 下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。附图1是本发明整体思路的流程框图,附图2是本发明所提出的目标匹配的流程图。所述一种基于分层感知和灰色定性推理的目标检索方法包括以下步骤:\n[0056] 步骤S101:将待检索目标用直方图分布进行描述,计算待检测目标的直方图分布。\n对由人工选定或目标检测算法获取的待检测目标Target,依据(1)式计算其HSV色彩直方图(v)\n分布q={q }v=1,...,m;\n[0057] 步骤S102:布设“搜索粒子群”,计算被检索视频中单帧图像“搜索粒子群”的直方图分布。设被检索视频Dest共有M帧图像,在每帧图像Pi(i=1,...,M)中,按如下所述方法生成“搜索粒子群”Si1∪Si2:在待检测目标Target的第i帧图像Pi中均匀选择N1个点作为“基\n1 1\n本粒子群”Si={sij ,j=1,...,N1}的中心,粒子长轴半长Hx均相等、短轴半长Hy均相等,Hx和Hy取满足如下两个条件的最小值:(1)粒子所在椭圆镞 为Pi的闭包,即满足\n粒子两两重合度不小于10%,即\n再在Pi中设置粒子群Si1的翻转粒子群Si2={sij2,j=1,...,N1},使得sij2与sij1中心重合,sij2的长轴半长Hx'等于sij1的短轴半长Hy、sij2的短轴半长Hy'等于sij1的长轴半长Hx,Si1∪Si2组成了搜索粒子群。对Si1∪Si2中的每个粒子,依据(1)式计算其HSV色彩直方图分布pi,j={pi,j(v)}v=1,...,m,i=1,...,M,j=1,...,2×N1;\n[0058] 步骤S103:筛选“搜索粒子群”,得到目标的大致位置。依据(2)式计算Target与Si1∪Si2中的每个粒子的直方图分布相似性度量值,并计算度量值{ρ[pi,j,q],j=1,...,2×N1}的均值μi,1和方差σi,1,将所有满足ρ[pi,j,q]>ρi,1+σi,1的j组成的集合按相似度从大到小排序后记为Bi,1;\n[0059] 步骤S104:布设“聚焦粒子群”,计算被检索视频中单帧图像“聚焦粒子群”的直方图分布。对Bi,1中的粒子j(记为sj=(xj,yj,Hx,j,Hy,j)),按如下所述方法生成“聚焦粒子群”Si,j3∪Si,j4:\n[0060] (1)随机生成W个不重复的取值于[0.8,1]的随机数{αk}k=1,...,W和W个不重复的取值于[0.1,0.3]的随机数{βk}k=1,...,W,则 其中:\n[0061] sj,k1={xj×(1-βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},\n[0062] sj,k2={xj×(1-βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},\n[0063] sj,k3={xj×(1+βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},\n[0064] sj,k4={xj×(1+βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},\n[0065] sj,k5={xj,yj,Hx,j×αk,Hy,j×αk};\n[0066] (2)随机生成W个不重复的取值于[1,1.2]的随机数{αk}k=1,...,W和W个不重复的取值于[0.1,0.3]的随机数{βk}k=1,...,W,则 其中:\n[0067] sj,k1={xj×(1-βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},\n[0068] sj,k2={xj×(1-βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},\n[0069] sj,k3={xj×(1+βk),yj×(1-βk),Hx,j×αk,Hy,j×αk},\n[0070] sj,k4={xj×(1+βk),yj×(1+βk),Hx,j×αk,Hy,j×αk},\n[0071] sj,k5={xj,yj,Hx,j×αk,Hy,j×αk}。\n[0072] 对Si,j3∪Si,j4中的每个粒子,依据(1)式计算其HSV色彩直方图分布pi,j,k={pi,j,k(v)}v=1,...,m,i=1,...,M,k=1,...,10×W;\n[0073] 步骤S105:筛选“聚焦粒子群”,进行推理。对Bi,1中的粒子j,依据(2)式计算Target与Si,j3∪Si,j4中的每个粒子的直方图分布相似性度量值,得到度量值集合Di,j={ρ[p(s),q]|s∈Si,j3∪Si,j4},根据(3)式计算Di,j取值,按下列推理规则决策匹配情况:"如果存在ρ∈Di,j使得Q(ρ)=0,则匹配,且s0=mean{s|s∈Si,j3∪Si,j4,Q(ρ[p(s),q])=0},,转步骤S107;\n否则,若对所有j均未找到匹配位置,转步骤S106";其中,s0=(x0,y0,Hx,0,Hy,0)为匹配的目标位置,mean表示取均值,由下式确定:mean{s|s∈Si,j3∪Si,j4}={(mean(x),mean(y),mean\n3 4\n(Hx),mean(Hy))|(x,y,Hx,Hy)∈Si,j∪Si,j };\n[0074] 步骤S106:判定当前帧图像中没有与待检测目标相匹配的图像区域,转步骤S108;\n[0075] 步骤S107:判定当前帧图像中存在与待检测目标相匹配的图像区域,该区域由s0=(x0,y0,Hx,0,Hy,0)标示,实现高分辨率的单帧图像目标定位,转步骤S108;\n[0076] 步骤S108:综合被检索视频中多帧图像的匹配结果,确定待检索目标是否出现在被检索视频中,并给出匹配度的可视化定性描述图。在被检索视频Dest的M帧图像中,将匹配的帧序号依次排列。若存在连续T0帧均匹配的情形,则判定待检索目标出现在被检索视频中,出现时刻由连续匹配帧序列的首末帧序号标记;否则判定待检索目标未出现在被检索视频中。对每一帧图像,由(4)式可以作出匹配度的定性描述图,用于可视化直观显示目标在被检索图像中的局部相似度,用于计算定性描述图的粒子群由步骤S102~步骤S107中所有使用过的粒子组成。\n[0077] 在本实施例中,取W=3。\n[0078] 如图3所示,(a)中椭圆所标区域为待检索目标,(b)中椭圆所标区域为由本实施例方法计算得到的“某一帧被检索图像”中的匹配目标,在目标被部分遮挡的情况下实现了目标的精确匹配。\n[0079] 本发明未详细阐述部分属于本领域技术人员的公知技术。\n[0080] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。