一种多模态视频理解方法

专利类型:
发明专利(1)
专利有效性:
有效专利(1)
法律状态:
公开(1)
高级筛选:

路标网共为您找到相关结果1

公开(公告)时间
申请时间

一种多模态视频理解方法

发明专利有效专利
  • 申请号:CN202210765668.X
  • 申请人:南京大学
  • 申请日:2022-07-01
  • 主分类号:G06F16/783
  • 公开(公告)日:2022-09-30
  • 公开/公告号:CN115129934A
委托购买

摘要:本发明公开了一种多模态视频理解方法,包括建立多模态融合网络,将视频中的采样片段输入多模态融合网络后得到一号特征向量及整个视频的分类分数,将视频标题文本通过编码器和多层感知机得到二号特征向量,将一号特征向量与二号特征向量进行余弦相似度计算,得出视频对比学习框架。本发明通过话题识别任务促进工业界开发更完备的深度模型,实现对于短视频整体的高层语义理解;视频文本互检索放弃了预定义类别体系和传统的强监督学习范式,转而使用自然语言作为监督信号,视频文本互检索并非唯一利用语言信息帮助视频理解的途径,视频标题生成与基于文本的视频生成同样可以实现。

著录信息权利要求说明书PDF全文法律状态引证文献
  • 1
前往
没找到想要的结果?为您推荐专业专利顾问检索  一种多模态视频理解方法 专利,更快更准确
免费
我想查:已帮助11134969位用户进行查询

*来源于国家知识产权局数据,仅供参考,专利服务由北京酷爱智慧知识产权代理公司提供