一种基于统一稀疏表示的跨媒体检索方法

1.一种基于统一稀疏表示的跨媒体检索方法，包括以下步骤：
(1)建立包含多种媒体类型的跨媒体数据库，并将所述数据库分为训练集和测试集，提取每种媒体类型数据的特征向量；
(2)通过训练集的多媒体数据，为每种媒体类型学习跨媒体统一稀疏表示的特征映射矩阵；
(3)根据特征映射矩阵，将测试集中的每种媒体类型映射到统一的空间中，得到跨媒体数据的统一稀疏表示；
(4)基于统一稀疏表示，计算任意媒体数据之间的跨媒体相似性；
(5)将测试集中的每个数据作为查询样例，以整个测试集作为查询目标集进行查询；
计算查询样例和查询目标集中媒体数据之间的跨媒体相似性，进而根据相似性得到跨媒体统一检索结果，检索结果包含相关的所有媒体类型数据。
2.如权利要求1所述的方法，其特征在于，所述多种媒体类型为五种媒体类型，包括文本、图像、视频、音频和3D数据。
3.如权利要求2所述的方法，其特征在于，对于文本数据，提取其隐狄雷克雷分布特征向量；对于图像数据，提取其词袋特征向量；对于视频数据，提取其词袋特征向量；对于音频数据，提取其梅尔频率倒谱系数特征向量；对于3D数据，提取其光场特征向量。
4.如权利要求1所述的方法，其特征在于，所述步骤(2)中跨媒体统一稀疏表示学习算法考虑了所有不同媒体类型数据之间的关联关系，同时也考虑了跨媒体数据在映射后的空间中的稀疏性，并保持映射后的统一特征空间样本分布和映射之前的特征空间样本分布接近。
5.如权利要求4所述的方法，其特征在于，步骤(2)所述为每种媒体类型学习跨媒体统一稀疏表示的特征映射矩阵，其建立的目标函数为：
(1) (s)
其中P ,...,P 为跨媒体数据库中所有s种媒体类型的映射矩阵，上标(i)表示第(i) (i)
i种媒体类型的映射矩阵，矩阵的维度为d ×c，可以将原始的特征向量从d 维的空间映射到一个统一的c维的统一空间中； 和 表示一一对应的两个矩阵，这两个矩阵中的一一对应样本表示来自不同媒体类型，而具有同样类别标签的元素；||Z||F表示矩阵Z的Frobenius范数，其定义为： ||Z||2,1表示矩阵Z的l2,1范数，其定义
为： 最小化||Z||2,1能够使得矩阵Z稀疏。
(i)
6.如权利要求5所述的方法，其特征在于，第三项目标函数Ω(P )表示在映射之后的统一特征空间中的样本分布和在映射之前的特征空间中的样本分布的一致程度，用于挖掘蕴含于不同媒体内部的样本分布结构信息，该信息能够作为类别信息的补充进一步提高效果，其定义为：
(i) -1/2 (i) -1/2
L ＝I-D W D ，
其中 表示矩阵Z的迹范数，I表示单位矩阵，D表示斜对角矩阵，其对
(i)
角线上的元素 W 为距离矩阵， 表示样本 的k近邻集合。
7.如权利要求1所述的方法，其特征在于，所述步骤(4)的跨媒体相似性计算方法以两个媒体数据属于同一类别的概率作为其相似性。
8.如权利要求1所述的方法，其特征在于，所述步骤(4)中任意两个媒体数据之间相似性计算方法为：
其中， 表示第i种媒体的数据p的统一稀疏特征表示， 表示第j种媒体的数据q的统一稀疏特征表示，yp表示 的类别，yq表示 的类别，l表示类别集合中的任一种类-1
别，o表示任意一种媒体数据，Nk(o)表示媒体数据o的k近邻，σ(z)＝(1+exp(-z)) 为sigmoid函数。
9.如权利要求1所述的方法，其特征在于，所述步骤(5)的跨媒体统一检索是指提交任意一种媒体类型作为查询，检索结果包括测试集中相关的所有媒体类型数据；该步骤计算得到所述相似性后，根据相似性进行排序，以输出最终的跨媒体检索结果。

暂无