一种基于注意力机制的深度监督跨模态对抗学习方法

发明专利有效专利

申请号：
CN202110144443.8
IPC分类号：G06F16/55;G06F16/583;G06F16/35;G06F16/33;G06K9/62;G06N3/04;G06N3/08
申请日期：
2021-02-02
申请人：
华侨大学;厦门亿联网络技术股份有限公司;厦门云知芯智能科技有限公司;厦门华联电子股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种基于注意力机制的深度监督跨模态对抗学习方法
申请号	CN202110144443.8	申请日期	2021-02-02
法律状态	实质审查	申报国家	中国
公开/公告日	2021-06-04	公开/公告号	CN112905822A
优先权	暂无	优先权号	暂无
主分类号	G06F16/55	IPC分类号	G;0;6;F;1;6;/;5;5;;;G;0;6;F;1;6;/;5;8;3;;;G;0;6;F;1;6;/;3;5;;;G;0;6;F;1;6;/;3;3;;;G;0;6;K;9;/;6;2;;;G;0;6;N;3;/;0;4;;;G;0;6;N;3;/;0;8查看分类表>
申请人	华侨大学;厦门亿联网络技术股份有限公司;厦门云知芯智能科技有限公司;厦门华联电子股份有限公司	申请人地址	福建省泉州市丰泽区城东城华北路269号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	华侨大学,厦门亿联网络技术股份有限公司,厦门云知芯智能科技有限公司,厦门华联电子股份有限公司	当前权利人	华侨大学,厦门亿联网络技术股份有限公司,厦门云知芯智能科技有限公司,厦门华联电子股份有限公司
发明人	曾焕强;王欣唯;朱建清;廖昀;刘青松;陈虢
代理机构	厦门市首创君合专利事务所有限公司	代理人	张松亭;杨锴

摘要

本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法，针对每个模态构建深度学习网络获取深度特征，引入生成对抗网络，利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征，在公共子空间进行异质性数据的度量的同时，利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络，使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能；在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算，从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者，实现跨模态检索。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供