一种应用于交通卡口的车辆图像检索方法和装置

暂无

一种应用于交通卡口的车辆图像检索方法和装置\n技术领域\n[0001] 本发明涉及图像处理技术，特别涉及一种应用于交通卡口的车辆图像检索方法和装置。\n背景技术\n[0002] 现有技术中，在一些重要的交通卡口，如高速公路收费口、治安检查站等，通常会利用所布设的摄像装置，对所经过的每个卡口车辆进行拍摄，并将拍摄到的卡口车辆图像保存到数据库中，以便后续进行检索和查看等。\n[0003] 现有技术中，通常利用卡口车辆的颜色、车型、拍摄地点和拍摄时间等来进行卡口车辆图像检索，即根据用户输入的文本信息在数据库中查找符合文本描述的卡口车辆图像，如×年×月×日经过×高速公路收费口的白色小货车。\n[0004] 但是，上述方式在实际应用中会存在一定的问题，如：颜色特征的使用会造成检索结果对光线变化的不鲁棒，另外车型只是一个大致信息，不能实现对于特定卡口车辆的检索，以上均会导致检索结果的准确性降低。\n发明内容\n[0005] 有鉴于此，本发明提供了一种应用于交通卡口的车辆图像检索方法和装置，能够提高检索结果的准确性。\n[0006] 为了达到上述目的，本发明的技术方案是这样实现的：\n[0007] 一种应用于交通卡口的车辆图像检索方法，包括：\n[0008] 确定卡口车辆参考图像以及作为检索对象的各卡口车辆检索图像；\n[0009] 获取所述卡口车辆参考图像的纹理特征码；\n[0010] 针对各卡口车辆检索图像，分别获取该卡口车辆检索图像的纹理特征码，并计算该卡口车辆检索图像的纹理特征码与所述卡口车辆参考图像的纹理特征码之间的相似度；\n[0011] 按照相似度由大到小的顺序对各卡口车辆检索图像进行排序，并显示给用户。\n[0012] 一种应用于交通卡口的车辆图像检索装置，包括：\n[0013] 第一处理模块，用于确定卡口车辆参考图像以及作为检索对象的各卡口车辆检索图像，并通知第二处理模块；\n[0014] 所述第二处理模块，用于获取所述卡口车辆参考图像的纹理特征码；针对各卡口车辆检索图像，分别获取该卡口车辆检索图像的纹理特征码，并计算该卡口车辆检索图像的纹理特征码与所述卡口车辆参考图像的纹理特征码之间的相似度；按照相似度由大到小的顺序对各卡口车辆检索图像进行排序，并显示给用户。\n[0015] 可见，本发明所述方案中，采用以图搜图的方式，通过比较卡口车辆参考图像与各卡口车辆检索图像的纹理特征码之间的相似度，来实现卡口车辆图像的检索，而不是像现有技术中一样简单地根据用户输入的颜色、车型等文本信息来进行检索，从而克服了现有技术中存在的问题，进而提高了检索结果的准确性。\n附图说明\n[0016] 图1为本发明应用于交通卡口的车辆图像检索方法实施例的流程图。\n[0017] 图2为本发明应用于交通卡口的车辆图像检索装置实施例的组成结构示意图。\n具体实施方式\n[0018] 针对现有技术中存在的问题，本发明中提出一种应用于交通卡口的车辆图像检索方案，能够提高检索结果的准确性。\n[0019] 为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。\n[0020] 图1为本发明应用于交通卡口的车辆图像检索方法实施例的流程图。如图1所示，包括以下步骤11～12。\n[0021] 步骤11：确定卡口车辆参考图像以及作为检索对象的各卡口车辆检索图像。\n[0022] 比如，用户需要查询某一违法车辆的行踪，那么，用户可提供一幅关于该车辆的卡口车辆参考图像，或者，也可以采用其它方式来确定卡口车辆参考图像，具体方式不限。\n[0023] 另外，假设用户需要检索该车辆在×年×月×日是否经过了某一高速公路收费口，那么，则可将该日期拍摄到的经过该高速公路收费口的所有卡口车辆图像均作为检索对象，即作为图像检索的查找范围。\n[0024] 步骤12：获取卡口车辆参考图像的纹理特征码；针对各卡口车辆检索图像，分别获取该卡口车辆检索图像的纹理特征码，并计算该卡口车辆检索图像的纹理特征码与卡口车辆参考图像的纹理特征码之间的相似度；按照相似度由大到小的顺序对各卡口车辆检索图像进行排序，并显示给用户。\n[0025] 以下对本步骤的具体实现进行详细说明。\n[0026] 1）获取卡口车辆参考图像的纹理特征码\n[0027] 在实际应用中，在获取卡口车辆参考图像的纹理特征码之前，可先进行以下处理：\n确定是否需要对卡口车辆参考图像进行校正，如果是，则对卡口车辆参考图像进行几何上的对齐操作，如按照车牌对齐或按照车标对齐等。\n[0028] 获取卡口车辆参考图像的纹理特征码的方式可为：分别获取卡口车辆参考图像中的P个预定区域的纹理特征码，并将获取到的P个纹理特征码按照预定方式进行组合，得到卡口车辆参考图像的纹理特征码，P为大于1的正整数。\n[0029] 所述将获取到的P个纹理特征码按照预定方式进行组合可以是指将获取到的P个纹理特征码按照预定顺序进行级联。\n[0030] 所述纹理特征通常是指对光线、颜色变化较为鲁棒，且计算又比较高效的图像纹理特征。相应地，所述纹理特征码包括但不限于哈尔（Haar）、局部二值模式（LBP，Local Binary Patterns）等。\n[0031] 所述P个预定区域可包括：M个用户设定的感兴趣区域以及N个默认区域；其中，M为\n0或正整数，N为正整数，M＋N＝P，M、N和P的具体取值均可根据实际需要而定。\n[0032] 也就是说，用户可以设定感兴趣区域，也可以不设定感兴趣区域，而且，如果设定感兴趣区域，所设定的感兴趣区域的个数可以为一个，也可以为多个。\n[0033] 感兴趣区域中通常具有区别于其它卡口车辆的显著特征，如挡风玻璃上的安全帽、后视镜上的挂饰等。\n[0034] 感兴趣区域的形状可以是规则的形状，如矩形、圆形或方形等，也可以是不规则的形状，如不规则的多边形等。用户可通过鼠标划选操作等在卡口车辆参考图像上设定感兴趣区域。\n[0035] 默认区域具体是指哪个/哪些区域可根据实际需要而定，预先可分别设定好每个默认区域的位置和大小等。\n[0036] 2）分别获取各卡口车辆检索图像的纹理特征码并计算与卡口车辆参考图像的相似度\n[0037] 类似地，针对各卡口车辆检索图像，在获取该卡口车辆检索图像的纹理特征码之前，可先进行如下处理：确定是否需要对该卡口车辆检索图像进行校正，如果是，则对该卡口车辆检索图像进行几何上的对齐操作。\n[0038] 获取该卡口车辆检索图像的纹理特征码的方式可为：分别获取该卡口车辆检索图像中的P个预定区域的纹理特征码，并将获取到的P个纹理特征码按照预定方式进行组合，得到该卡口车辆检索图像的纹理特征码。所述预定方式和获取卡口车辆参考图像的纹理特征码时所述的预定方式相同。\n[0039] 如前所述，所述P个预定区域可包括：M个用户设定的感兴趣区域以及N个默认区域；其中，M为0或正整数，N为正整数，M＋N＝P。\n[0040] 用户只需要在卡口车辆参考图像中设定感兴趣区域即可，系统可根据各感兴趣区域在卡口车辆参考图像中的位置和大小等，自动地将各卡口车辆检索图像中的相应位置和大小的区域确定为感兴趣区域。\n[0041] 针对每幅卡口车辆检索图像，除了需要获取该卡口车辆检索图像的纹理特征码外，还需要计算该卡口车辆检索图像的纹理特征码与卡口车辆参考图像的纹理特征码之间的相似度，如何计算两个纹理特征码之间的相似度不作限制。\n[0042] 另外，为了加快检索速度，可同时启动K个处理线程和K个读取线程，并建立K个内存队列，K为大于1的正整数，具体取值可根据实际需要而定，各内存队列初始为空。\n[0043] 可将步骤11中确定出的各卡口车辆检索图像分为K组，每个分组分别唯一对应一个处理线程、一个读取线程以及一个内存队列，通常将各卡口车辆检索图像平均分为K组，如果不能平均分，则某一个分组中包括的卡口车辆检索图像数可以多于或少于其它分组中包括的卡口车辆检索图像数。\n[0044] 举例说明：假设步骤11中确定出的各卡口车辆检索图像的总数为1001，K的取值为\n10，那么，可有1个分组中包括101幅卡口车辆检索图像，其余分组中均包括100幅卡口车辆检索图像。\n[0045] 每个读取线程分别将对应分组中的各卡口车辆检索图像依次加载到对应的内存队列中；各内存队列的大小可根据实际需要而定，如果某一内存队列已满，那么可等到其出现剩余空间时再向其继续加载卡口车辆检索图像。\n[0046] 每个处理线程分别读取出对应的内存队列中的各卡口车辆检索图像，并针对读取出的每幅卡口车辆检索图像，获取该卡口车辆检索图像的纹理特征码，并计算该卡口车辆检索图像的纹理特征码与卡口车辆参考图像的纹理特征码之间的相似度。具体地，每个处理线程可按照先进先出的原则读取出内存队列中的各卡口车辆检索图像。\n[0047] 由于各处理线程并行地进行工作，而且直接从内存中读取卡口车辆检索图像，因此加快了本发明所述检索方案的检索速度。\n[0048] 另外，在检索过程中，可按照预定方式，实时地向用户反馈当前的检索进度。比如，可实时统计当前已处理完的卡口车辆检索图像的总数k，并以进度条或数字百分比（k/k’，k’表示步骤11中确定出的各卡口车辆检索图像的总数）的形式实时地向用户反馈当前的检索进度。\n[0049] 3）排序及显示\n[0050] 在得到各卡口车辆检索图像的纹理特征码与卡口车辆参考图像的纹理特征码之间的相似度后，即可按照相似度由大到小的顺序对各卡口车辆检索图像进行排序，并显示给用户。\n[0051] 其中，如果前述P个预定区域中包括用户设定的感兴趣区域，那么可高亮显示各卡口车辆检索图像中的用户设定的感兴趣区域，以方便用户查看。\n[0052] 至此，即完成了关于图1所示实施例的介绍。\n[0053] 在上述基础上，为进一步提高检索结果的准确性，本发明所述方案中还提出了以下两点，即重新检索和由粗到细的检索，分别介绍如下。\n[0054] 一）重新检索\n[0055] 即在执行完步骤12之后，还可进一步进行以下处理：进行Q次重新检索，Q为正整数，具体取值可根据实际需要而定，比如，用户认为已经得到了满意的检索结果，则可不再进行重新检索。\n[0056] 其中，每次重新检索均可包括以下步骤A～E。\n[0057] A、确定本次检索对应的卡口车辆参考图像，该图像可为以下之一：用户从上一次检索完成后所显示的各卡口车辆检索图像中所选出的一幅卡口车辆检索图像、用户重新提供的一幅卡口车辆参考图像。\n[0058] 用户所选出的卡口车辆参考图像通常为：在上一次检索完成后所显示的各卡口车辆检索图像中排序比较靠前的一幅卡口车辆检索图像，或者，用户认为与卡口车辆参考图像对应的是同一卡口车辆的一幅卡口车辆检索图像。\n[0059] B、获取本次检索对应的卡口车辆参考图像的纹理特征码。\n[0060] C、综合本次检索以及之前每次检索对应的卡口车辆参考图像的纹理特征码，确定出一个融合纹理特征码。\n[0061] 比如，可为本次检索以及之前每次检索对应的卡口车辆参考图像的纹理特征码分别设置一个权重值；根据所设置的权重值以及本次检索和之前每次检索对应的卡口车辆参考图像的纹理特征码，通过线性加权的方式计算得到一个融合纹理特征码。\n[0062] 当然，也可以采用其它方式来得到融合纹理特征码，具体实现方式不限。\n[0063] D、分别计算该融合纹理特征码与各卡口车辆检索图像的纹理特征码之间的相似度。\n[0064] E、按照相似度由大到小的顺序对各卡口车辆检索图像进行排序，并显示给用户。\n[0065] 由于采用了在线学习式的机器学习算法，每一次重新检索均融合了之前各次检索的特征，因此会使得检索结果越来越准确。\n[0066] 二）由粗到细的检索\n[0067] 即在执行步骤11之前，可先进行粗略检索，包括：确定作为粗略检索对象的各卡口车辆检索图像；按照指定的卡口车辆特征信息，从作为粗略检索对象的各卡口车辆检索图像中检索出与所述卡口车辆特征信息相匹配的各卡口车辆检索图像，将检索出的各卡口车辆检索图像作为精细检索对象，即步骤11中所述的各卡口车辆检索对象。\n[0068] 举例说明：假设用户想要检索一辆嫌疑出租车，该出租车的前挡风玻璃上贴有明显的广告，那么，用户可首先根据车型以及颜色等卡口车辆特征信息，对指定数据库中的各卡口车辆检索图像进行粗略检索；之后，可将粗略检索出的各卡口车辆检索图像作为精细检索对象，并提供一幅卡口车辆参考图像进行精细搜索，其中，卡口车辆参考图像中包括前挡风玻璃上的广告的区域可作为用户设定的感兴趣区域。\n[0069] 通过由粗到细的检索方式，可逐渐缩小检索范围，从而提高了检索结果的准确性。\n[0070] 需要说明的是，本发明所述方案中，在每次检索过程中，如果接收到用户的终止指令，则可按照相似度由大到小的顺序，对已计算出相似度的各卡口车辆检索图像进行排序，并显示给用户。\n[0071] 另外，在每次显示排序后的各卡口车辆检索图像时，通常只会显示排序后处于前X位的卡口车辆检索图像，因为即使全部显示，用户也不可能一一查看，X的具体取值可根据实际需要而定，当然，如果参与排序的卡口车辆检索图像的总数小于或等于X，那么则可全部显示。\n[0072] 基于上述介绍，图2为本发明应用于交通卡口的车辆图像检索装置实施例的组成结构示意图。如图2所示，包括：\n[0073] 第一处理模块21，用于确定卡口车辆参考图像以及作为检索对象的各卡口车辆检索图像，并通知第二处理模块22；\n[0074] 第二处理模块22，用于获取所述卡口车辆参考图像的纹理特征码；针对各卡口车辆检索图像，分别获取该卡口车辆检索图像的纹理特征码，并计算该卡口车辆检索图像的纹理特征码与所述卡口车辆参考图像的纹理特征码之间的相似度；按照相似度由大到小的顺序对各卡口车辆检索图像进行排序，并显示给用户。\n[0075] 其中，\n[0076] 第二处理模块22可进一步用于，在获取所述卡口车辆参考图像的纹理特征码之前，确定是否需要对所述卡口车辆参考图像进行校正，如果是，则对所述卡口车辆参考图像进行几何上的对齐操作；\n[0077] 第二处理模块22可进一步用于，在获取该卡口车辆检索图像的纹理特征码之前，确定是否需要对该卡口车辆检索图像进行校正，如果是，则对该卡口车辆检索图像进行几何上的对齐操作。\n[0078] 具体地，\n[0079] 第二处理模块22可分别获取所述卡口车辆参考图像中的P个预定区域的纹理特征码，并将获取到的P个纹理特征码按照预定方式进行组合，得到所述卡口车辆参考图像的纹理特征码，P为大于1的正整数；\n[0080] 第二处理模块22可针对各卡口车辆检索图像，分别获取该卡口车辆检索图像中的P个预定区域的纹理特征码，并将获取到的P个纹理特征码按照预定方式进行组合，得到该卡口车辆检索图像的纹理特征码。\n[0081] 所述P个预定区域可包括：M个用户设定的感兴趣区域以及N个默认区域；\n[0082] M为0或正整数，N为正整数，M＋N＝P。\n[0083] 另外，\n[0084] 第二处理模块22还可进一步用于，如果所述M的取值为正整数，则高亮显示各卡口车辆检索图像中的用户设定的感兴趣区域。\n[0085] 第二处理模块22还可进一步用于，在对各卡口车辆检索图像进行排序，并显示给用户之后，进行Q次重新检索，Q为正整数；其中，每次重新检索包括：确定本次检索对应的卡口车辆参考图像，该图像为以下之一：用户从上一次检索完成后所显示的各卡口车辆检索图像中所选出的一幅卡口车辆检索图像、用户重新提供的一幅卡口车辆参考图像；获取本次检索对应的卡口车辆参考图像的纹理特征码；综合本次检索以及之前每次检索对应的卡口车辆参考图像的纹理特征码，确定出一个融合纹理特征码；分别计算该融合纹理特征码与各卡口车辆检索图像的纹理特征码之间的相似度；按照相似度由大到小的顺序对各卡口车辆检索图像进行排序，并显示给用户。\n[0086] 具体地，\n[0087] 第二处理模块22可为本次检索以及之前每次检索对应的卡口车辆参考图像的纹理特征码分别设置一个权重值；根据所设置的权重值以及本次检索和之前每次检索对应的卡口车辆参考图像的纹理特征码，通过线性加权的方式计算得到一个融合纹理特征码。\n[0088] 再有，\n[0089] 所述检索对象可为精细检索对象；\n[0090] 相应地，第一处理模块21可进一步用于，确定作为粗略检索对象的各卡口车辆检索图像；按照指定的卡口车辆特征信息，从作为粗略检索对象的各卡口车辆检索图像中检索出与所述卡口车辆特征信息相匹配的各卡口车辆检索图像，将检索出的各卡口车辆检索图像作为所述精细检索对象。\n[0091] 图2所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，此处不再赘述。\n[0092] 总之，采用本发明所述方案，可提高检索结果的准确性；而且，本发明所述方案实现起来简单方便，从而便于普及和推广。\n[0093] 综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。\n凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。