著录项信息
专利名称 | 一种用于多模态目标跟踪的对象感知图像融合方法 |
申请号 | CN202110169737.6 | 申请日期 | 2021-02-07 |
法律状态 | 实质审查 | 申报国家 | 中国 |
公开/公告日 | 2021-05-28 | 公开/公告号 | CN112862860A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06T7/246 | IPC分类号 | G06T7/246;G06K9/46;G06K9/62;G06N3/04;G06N3/08查看分类表>
|
申请人 | 天津大学 | 申请人地址 | 天津市南开区卫津路***
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 天津大学 | 当前权利人 | 天津大学 |
发明人 | 朱鹏飞;王童;胡清华 |
代理机构 | 北京化育知识产权代理有限公司 | 代理人 | 尹均利 |
摘要
本发明公开了一种用于多模态目标跟踪的对象感知图像融合方法,所述方法包括以下步骤:获取自适应融合图像,通过对图像进行显著性检测,级联并连接网络中不同层的输出,将RGB图像和热模态图像分别输入双通道,每个通道包含三个聚集模块,根据连接深层特征,通过评判图像灰度值大小、像素强度、相似性度量和一致性损失来自适应引导网络重建融合图像;特征组合模块使用深度互相关运算将样本提取的特征和搜索图像进行组合,以生成相应的相似性特征用于后续目标定位,然后进行分类和回归进行目标定位;使用无锚框的回归网络进行跟踪训练,它将groundtruth中边界框内所有像素作为训练样本,在一定程度上可以纠正弱预测,修正为正确位置;通过采用可形变卷积改变采样位置,使其与预测边界框对齐,将分类置信度与目标对象对应,因此分类置信度更加可靠。