视频和自然语言的多模态推理方法及系统

发明专利有效专利

申请号：
CN202110935190.6
IPC分类号：G06F16/33;G06F16/35;G06F16/783;G06F16/78;G06N5/04
申请日期：
2021-08-16
申请人：
山东新一代信息产业技术研究院有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	视频和自然语言的多模态推理方法及系统
申请号	CN202110935190.6	申请日期	2021-08-16
法律状态	公开	申报国家	中国
公开/公告日	2021-11-05	公开/公告号	CN113609259A
优先权	暂无	优先权号	暂无
主分类号	G06F16/33	IPC分类号	G;0;6;F;1;6;/;3;3;;;G;0;6;F;1;6;/;3;5;;;G;0;6;F;1;6;/;7;8;3;;;G;0;6;F;1;6;/;7;8;;;G;0;6;N;5;/;0;4查看分类表>
申请人	山东新一代信息产业技术研究院有限公司	申请人地址	山东省济南市高新区港兴三路北段未来创业广场3号楼11-12层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	山东新一代信息产业技术研究院有限公司	当前权利人	山东新一代信息产业技术研究院有限公司
发明人	王雯哲;高岩;高明;王建华
代理机构	济南信达专利事务所有限公司	代理人	孙园园

摘要

本发明公开了视频和自然语言的多模态推理方法及系统，属于计算机视觉技术领域，本发明要解决的技术问题为如何能够在视频序列中找到事件中对象之间的内在因果关系，并使用自然语言片段补充从而获得常识性知识，帮助改善下游任务的鲁棒性，技术方案为：该方法是通过在视频中定位事件，对视频中事件的进行目标检测，并使用视频和文字字幕学习上下文因果关系，进而实现视频和自然语言的多模态推理；具体如下：将视频输入到正则框架，输出一对图像；获取对应事件中前后两帧所有可能的因果关系；输出事件之间的因果关系评分预测，即概率测度；对因果关系进行理性化。该系统包括标准帧检测模块、文本编码器模块、交叉注意模块、分类器及因果合理化模块。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供