一种层级化的特定人物检索方法

1. 一种层级化的特定人物检索方法，其特征在于，所述方法包括以下步骤： (1) 对监控摄像头获取的原始视频序列进行图像去噪和图像增强的预处理，获取预处 理后视频序列； (2) 根据所述预处理后视频序列获取人物检索数据库； (3) 在所述预处理后视频序列中用矩形框选定要查询的人物A，人物A的图像大小为m乘 η，以人物A的图像AmXn作为查询实例输入； (4) 对已获得的人物检索数据库中的每一图像和查询实例AmXn分别进行全局颜色直方 图特征提取，获取查询实例对应的查询对象全局颜色直方图特征、人物检索数据库中每一 图像相应的检索对象全局颜色直方图特征； (5) 计算查询对象全局颜色直方图特征和多个检索对象全局颜色直方图特征的相似 性，设置相似性度量的阈值进行底层粗检测，获取多个满足阈值限制的检索图像作为底层 粗检测的结果； (6) 对查询实例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个分割 块； (7) 对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集； (8) 计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特征匹 配的度量； (9) 设置查询实例与底层粗检测结果的最近邻之和的度量阈值，进行匹配图像提纯，将 提纯后结果作为顶层精检测结果输出。
2. 根据权利要求1所述的一种层级化的特定人物检索方法，其特征在于，所述对查询实 例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个分割块的操作具体为： 1) 将m X η大小的图像划分为W个超像素； 2) 利用W个超像素重新构造图像，将图像中的超像素聚为C类，按聚类结果划分为C个彼 此相连的区域； 3) 根据相邻区域的差异度对C个区域进行区域合并处理，最后将图像分割为C'个分割 块。
3. 根据权利要求1所述的一种层级化的特定人物检索方法，其特征在于，所述对每个分 割块提取局部综合显著特征，构造每个图像的局部显著特征集的操作具体为： 1) 计算每一分割块所包含的超像素在Labxy空间中的颜色均值作为该分割块的3维颜 色特征fi; 2) 利用局部二元模式算子提取每一分割块的51维纹理特征f2; 3) 提取每一分割块的方向梯度直方图特征f 3 ; 4) 将上述三种特征串联形成描述每一分割块的90维局部综合显著特征； 5) 将一个图像所有部分的90维局部综合显著特征构成该图像的局部显著特征集。
4. 根据权利要求3所述的一种层级化的特定人物检索方法，其特征在于，所述计算查询 实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特征匹配的度量的操作 具体为： 1)选择查询实例中任一分割块，利用其90维特征在底层粗检测结果的分割块中进行 Kd-树查询，得到此分割块在该底层粗检测结果中的最近邻分割块； 2) 求一分割块与其最近邻分割块之间的欧氏距离，作为分割块与此底层粗检测结果的 最近邻距离； 3) 重复1)_2)，直至查询实例中每一分割块都与此底层粗检测结果得到最近邻距离； 4) 计算查询实例与该底层粗检测结果的最近邻之和，作为其匹配程度的度量。

一种层级化的特定人物检索方法\n技术领域\n[0001] 本发明涉及人物检索领域，特别涉及一种层级化的特定人物检索方法。\n背景技术\n[0002] 在监控视频中进行特定人物检索涉及图像处理、模式识别、计算机视觉等领域，属 于实例检索的一个特例。实例检索是指根据给定的查询对象，在大量的视频或图像数据中 检索出给定查询对象的所有出现。因而，特定人物检索的目的就在于查找给定人物在监控 视频中的不同时间、地点的所有出现。\n[0003] 目前，人物检索方法可以简单的分为三类:一是基于人脸识别技术的人物检索，另 一是基于衣服颜色的人物检索，以及基于人物属性的检索方法。基于人脸识别的检索方法 通过对人物进行人脸检测从而达到人物检索的目的[1]。但由于人脸角度、环境光照等变化 往往导致人脸检测方法的失效，从而影响人物检索的准确性。基于衣服颜色的检索方法主 要使用人物的衣服颜色作为特征，在此基础上计算人物之间的相似度[2]。因为人物衣服颜 色的近似或者遮挡等问题，导致此方法常常产生误判。基于人物属性的检索方法则在前两 种方法的基础上，充分利用了人物属性的多样性，增强了特征的表征力，是目前研究的热 点。\n[0004] 在监控视频中进行特定人物检索主要面临以下挑战：1.人物检测的准确性。监控 视频的一帧图像中通常包含一个或多个人物，人物通常只是图像内容的一部分，准确地提 取图像中的人物部分是人物实例检索的首要前提。将包含检测到的人物的矩形区域定义为 矩形框。由于人物检测的不同算法以及人体多姿态和遮挡等因素，检测到的矩形框中可能 存在没有人物、包含部分人物和包含人物整体三种情况。只有包含整体人物的矩形框能够 准确描述人物，其他两种人物检测结果的出现会导致人物实例检索返回错误或不相关的检 索结果。2.人物的视觉特征表示的有效性。在返回检测结果的矩形框中，不仅包含人物，还 含有一部分背景信息。在监控视频尤其是定点监控视频中，这部分背景信息具有很大的相 似性。在对矩形框提取视觉特征时，这部分相似性很高的背景信息会对相似度计算造成很 大偏差，使得计算得到的矩形框之间的相似度不能代表真正的人物之间的相似度。\n[0005] 面对这些挑战，Liu等人[3]使用RGB-D摄像机来获取视频的RGB-D信息，并根据此 信息来分割人物区域，随后提取人物的生物属性、外表属性以及运动属性来表征人物，通过 人物属性检索出符合描述的人物，但人物分割增加了算法的复杂度;且在监控视频中，由于 光照、遮挡、姿势变化等原因，同一个人物会呈现出不同的外表。这对人物特征的提取及相 似度的计算都带来了很大的难度，而该方法解决不了人物外表的多样性问题。\n[0006] Yuk等人[4]首先使用卡尔曼滤波进行人物检测，然后对检测到的每个人物通过追 踪技术得到一个个的人物集合。对于每个人物集合，对集合中的每个人物计算其主色和边 缘直方图，然后将计算得到的特征进行平均，用平均后的特征来表征这一集合的人物。本方 法虽然用平均后的特征在一定程序上解决了上述的人物外表的多样性问题，但过于依赖人 物检测和追踪，当检测和追踪失效时，此方法得到的人物集合中会包含不一致的人物或错 误的矩形框，此时集合的平均描述子将不能稳定表示人物，同时在计算过程中引入了更多 的错误信息。\n发明内容\n[0007] 本发明提供了一种层级化的特定人物检索方法，本发明降低了计算的复杂度，提 高了人物检索的精度，且解决了人物外表的多样性问题，详见下文描述：\n[0008] -种层级化的特定人物检索方法，所述方法包括以下步骤：\n[0009] (1)对监控摄像头获取的原始视频序列进行图像去噪和图像增强的预处理，获取 预处理后视频序列；\n[0010] (2)根据所述预处理后视频序列获取人物检索数据库；\n[0011] (3)在所述预处理后视频序列中用矩形框选定要查询的人物A，以此图像AmXn作为 查询实例输入；\n[0012] (4)对已获得的人物检索数据库中的每一图像和查询实例AmXn分别进行全局颜色 直方图特征提取，获取查询实例对应的查询对象全局颜色直方图特征、人物检索数据库中 每一图像相应的检索对象全局颜色直方图特征；\n[0013] (5)计算查询对象全局颜色直方图特征和多个检索对象全局颜色直方图特征的相 似性，设置相似性度量的阈值进行底层粗检测，获取多个满足阈值限制的检索图像作为底 层粗检测的结果；\n[0014] (6)对查询实例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个 分割块；\n[0015] (7)对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集；\n[0016] (8)计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特 征匹配的度量；\n[0017] (9)设置查询实例与底层粗检测结果的最近邻之和的度量阈值，进行匹配图像提 纯，将提纯后结果作为顶层精检测结果输出。\n[0018] 所述对查询实例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个 分割块的操作具体为：\n[0019] 1)将m X n大小的图像划分为W个超像素；\n[0020] 2)利用W个超像素重新构造图像，将图像中的超像素聚为C类，按聚类结果划分为C 个彼此相连的区域；\n[0021] 3)根据相邻区域的差异度对C个区域进行区域合并处理，最后将图像分割为C'个 分割块。\n[0022]所述对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集的操 作具体为：\n[0023] 1)计算每一分割块所包含的超像素在Labxy空间中的颜色均值作为该分割块的3 维颜色特征fi;\n[0024] 2)利用局部二元模式算子提取每一分割块的51维纹理特征f2;\n[0025] 3 )提取每一分割块的方向梯度直方图特征f3;\n[0026] 4)将上述三种特征串联形成描述每一分割块的90维局部综合显著特征；\n[0027] 5)将一个图像所有部分的90维局部综合显著特征构成该图像的局部显著特征集。 [0028]所述计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为 特征匹配的度量的操作具体为：\n[0029] 1)选择查询实例中任一分割块，利用其90维特征在底层粗检测结果的分割块中进 行Kd-树查询，得到此分割块在该底层粗检测结果中的最近邻分割块；\n[0030] 2)求一分割块与其最近邻分割块之间的欧氏距离，作为分割块与此底层粗检测结 果的最近邻距离；\n[0031] 3)重复1)-2)，直至查询实例中每一分割块都与此底层粗检测结果得到最近邻距 离；\n[0032] 4)计算查询实例与该底层粗检测结果的最近邻之和，作为其匹配程度的度量。\n[0033] 本发明提供的技术方案的有益效果是:本方法在定点监控视频序列中进行运动信 息检测，获取视频序列中可能出现人物的区域，构建人物检索数据库。随后选取可疑的待查 询人物作为查询实例输入，根据查询实例和人物检索数据库中各图像的全局颜色直方图特 征进行底层粗检测，保留相似度满足一定阈值要求的图像作为底层粗检测结果。在此层检 测的基础上，利用超像素分割图像，提取图像各分割块的局部综合显著特征构成图像局部 显著特征集，计算该特征集的相似度进行图像匹配，得到较为准确的顶层精检测结果。本方 法利用目标的颜色特性进行统计得到的直方图特征，提高了特征的鲁棒性，利用目标的超 像素信息进行区域分割之后提取图像局部显著特征集，降低了监控视频中光照、噪声、姿 势、遮挡以及设备分辨率低等原因对人物稳定特征提取的影响，解决了人物外表多样性问 题，在不增加特征提取的复杂度的基础上，分层的检索结果进一步提高了检索的准确性，得 到了较好的人物检索结果。\n附图说明\n[0034] 图1为一种层级化的特定人物检索方法的流程图；\n[0035]图2为区域合并前、合并后的示意图；\n[0036]图3a为输入的查询实例的示意图；\n[0037]图3b为采用本方法和对比文件对一帧图像进行检索的结果；\n[0038]图3c为采用本方法和对比文件对另一帧图像进行检索的结果。\n具体实施方式\n[0039]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方 式作进一步地详细描述。\n[0040]为了降低计算的复杂度，提高监控视频中人物检索的精度，且解决了人物外表的 多样性问题，本发明实例提供了一种层级化的特定人物检索方法，参见图1，详见下文描述： [0041 ] 101:对监控摄像头获取的原始视频序列X= {XI，X2，…χη}进行图像去噪和图像增强 的预处理，获取预处理后视频序列，其中Xi(i=l，2，···η)是长度为η帧的 原始视频序列中的帧图像，X ' i (i=l，2，…，η)是预处理后视频序列中的帧图像；\n[0042]该步骤目的是去除无用信息，提高后续算法效率和处理速度。在选用图像预处理 的算法时，需要慎重权衡处理效果和运算时间两个方面。从实时性的角度考虑，图像预处理 的时间应当尽可能压缩。\n[0043] 本方法首先对输入的原始视频序列进行降噪处理。在视频序列获取和传输的过程中 会发生帧图像退化，从而引入噪声，可以把这样的帧图像表示为6 (¾6) = < (a，*吵，的+咖，圬。 其中（a，b)为帧图像中的点，乂(〃力)是原始无噪声帧图像，h(a，b)是退化函数，ri(a，b)为图 像噪声。采用自适应的高斯滤波器G对视频序列帧图像进行降噪处理[5]，得到去噪后的帧 图像 gi(a，b)=Xi(a，b)*G。\n[0044] 接着通过亮度变换进行图像增强处理，将每一帧图像中的每一个像素点的亮度变 换成另一数值，使得图像信息对比度提高[6]。定义亮度变换函数为dstU'daADiTbrc (gi(a，b)))，其中src(gi(a，b))为去噪后帧图像在点(a，b)处的亮度值，(^1:(1'；1(3，13))是变 换后对应的亮度值，T为选定的变换函数。通常T包括线性、指数、对数、幂次、分段等几种函 数形式，本方法中考虑成像器件的原因，选取对数函数作为变换函数。\n[0045] 在对每一帧图像进行上述处理后得到预处理后视频序列\n[0046] 102:根据预处理后视频序列Χ' = {χ'ι，χ'2,…x'n}获取人物检索数据库D={di, cb，···，cIn};\n[0047] 对监控视频进行运动目标检测，获得人物检索的数据库。考虑到监控视频为定点 监控所得到的，背景不会有明显改变，利用背景差分法(如混合高斯模型背景差法[7])检测 到运动目标，构建人物检索数据库，N为正整数，表示数据库中图像总数。\n[0048] 103:在预处理后视频序列中用矩形框选定要查询的人物A，其图像大小为m乘η。以 此图像A mXn作为查询实例输入；\n[0049] 104:对已获得的人物检索数据库中的每一图像dj(j=l，2，-_N)和查询实例AmXn分 别进行全局颜色直方图特征提取，获取查询实例对应的查询对象全局颜色直方图特征/Λ、 人物检索数据库中每一图像相应的检索对象全局颜色直方图特征錢^:;\n[0050] 由监控摄像头采集的视频序列图像本身是以RGB颜色空间模式存储的，考虑到实时 性对处理速度的要求，不对视频序列图像进行颜色空间转换，直接采用每个图像的R、G、B通道 颜色信息分别统计各个通道的颜色直方图特征。每一通道的颜色变化区间都为[0,255]，进 一步将颜色区间分组量化，每16个变化等级分为一组，则每一通道可量化为16个量化颜色。 对于查询实例和人物检索数据库中的图像，可根据公式\n计算每一通道中第k个颜色的柱值大小，\n11(8，13)6[1，16]表示大小为111 Xn的图像(a，b)处的量化颜色。从而对每一个图像而言，每一通道可以得到16维的颜色直 方图特征，将三个通道的颜色直方图特征连接起来得到3X16=48维的全局颜色直方图特 征。\n[0051] 105:计算查询对象全局颜色直方图特征和多个检索对象全局颜色直方图特征的 相似性，设置相似性度量的阈值进行底层粗检测，获取多个满足阈值限制的检索图像作为 底层粗检测的结果{R:，…，R z}，z为正整数且z < N;\n[0052] 选择直方图相交距离作为全局颜色直方图特征的相似性度量。步骤104中获得的 查询对象全局颜色直方图特征可以表示为ί^=Ι>.·.Μ，…,q4；i]，每个检索对象全局颜色直方 图特征可以表示为尽1/,. =[\.1，·Ά/,.48]，从而根据公式\n计算查询对象 全局颜色直方图特征和第j个检索对象全局颜色直方图特征之间的相交距离(min函数表示 取两者中的较小值）。\n[0053]对相交距离进行归一化处理，得到查询图像和人物检索数据库中第j个候选图像 之间的相似度\n根据实际应用中的需要设定相似度筛选阈值(本方法中设 置相似度筛选阈值为〇. 62)，当相似度高于此筛选阈值时，将此候选图像作为底层粗检测结 果之一，最终得到多个满足条件的底层粗检测结果{R:，…，Rz}，z为正整数且z