一种针对搜索请求抽取搜索结果主题标签的方法和装置

1.一种针对搜索请求抽取搜索结果主题标签的方法，其特征在于，针对用户输入的搜索请求query的搜索结果执行以下步骤：
A、对所述搜索结果中的各页面进行分词处理，并对分词处理后得到的各词语进行过滤处理，得到所述query对应的候选标签集合；
B、分别针对所述候选标签集合中的各候选标签w执行步骤B2和步骤B3中的任一或任意组合，或者执行步骤B2和步骤B3中的任一与步骤B1的组合，或者执行步骤B1、步骤B2和步骤B3：
B1、基于词频为候选标签w打分，得到候选标签w的打分值f1(w)；
B2、基于候选标签w与所述query在搜索日志中的共现状况，为候选标签w打分，得到候选标签w的打分值f2(w)；
B3、基于候选标签w对于同一实体类型的各query的共性程度，为候选标签w打分，得到候选标签w的打分值f3(w)；
C、整合步骤B的打分结果，得到候选标签集合中各候选标签w的排序权值f(w)；
D、选取所述候选标签集合中排序权值f(w)在前M1个的候选标签作为所述query的搜索结果主题标签，M1为预设的正整数。
2.根据权利要求1所述的方法，其特征在于，步骤A中对所述搜索结果中的各页面进行分词处理为：
对所述搜索结果中的各页面的标题和/或摘要进行分词处理。
3.根据权利要求1所述的方法，其特征在于，步骤A中所述对分词处理后得到的各词语进行过滤处理为：
从所述分词处理后得到的各词语中过滤掉预设的停用词表所包含的词语；或者，从所述分词处理后得到的各词语中过滤掉在页面中与所述query之间的最小距离超过预设范围的词语。
4.根据权利要求1所述的方法，其特征在于，所述f1(w)具体为：
其中，tf(w)为所述w在所述搜索结果中出现的次数，c(w)为所述w在语料库中出现的总次数，N为所述各词语在所述语料库中出现次数的最大值。
5.根据权利要求1所述的方法，其特征在于，所述f2(w)具体为：
其中，Ei为所述query，c(w，Ei)为在搜索日志中w与Ei共现的次数，∑w′c(w′，Ei)为搜索日志中各词语与Ei共现的次数和。
6.根据权利要求1所述的方法，其特征在于，所述f3(w)具体为：
其中，Ei为所述query，C(Ei)为Ei所属的实体类型，Ej∈C(Ei)表示Ej为与Ei属于同一类型的实体，SL(Ej)为Ej对应的候选标签集合，|{Ej|Ej∈C(Ei)，w∈SL(Ej)}|为预先设置的实体列表中实体类型为C(Ei)且候选标签包含w的query个数，|{Ej|Ej∈C(Ei)}|为所述实体列表中实体类型为C(Ei)的query总数，所述实体列表为通过网络挖掘方式和/或人工方式得到的包含各命名实体的列表。
7.根据权利要求1所述的方法，其特征在于，所述步骤C具体包括：
如果 在 所述 步骤B 中执 行步 骤B1、步骤B2和 步骤 B3，则 所述f(w) ＝f1(w)×f2(w)×f3(w)或者f(w)＝α1×f1′(w)+β1×f2(w)+γ1×f3(w)，其中，α1、β1和γ1是预设的权值参数，f1′(w)为f1(w)进行归一化后的值；
如果在所述步骤B中执行步骤B2和步骤B3，则所述f(w)＝f2(w)×f3(w)或者f(w)＝β2×f2(w)+γ2×f3(w)，其中，β2和γ2是预设的权值参数；
如果在所述步骤B中执行步骤B1和步骤B2，则所述f(w)＝f1(w)×f2(w)或者f(w)＝α3×f1′(w)+β3×f2(w)，其中α3和β3是预设的权值参数；
如果在所述步骤B中执行步骤B1和步骤B3，则所述f(w)＝f1(w)×f3(w)或者f(w)＝α4×f1′(w)+γ4×f3(w)，其中，α4和γ4为预设的权值参数；
如果在所述步骤B中仅执行步骤B2，则所述f(w)＝f2(w)；
如果在所述步骤B中仅执行步骤B3，则所述f(w)＝f3(w)。
8.根据权利要求1所述的方法，其特征在于，在所述步骤C和所述步骤D之间还包括：
E1、确定所述候选标签集合中的相似标签；
E2、对所述候选标签集合中的相似标签进行合并处理。
9.根据权利要求8所述的方法，其特征在于，所述步骤E1具体为：
如果所述候选标签集合中候选标签w1和w2仅存在大小写差别，则确定w1和w2为相似标签；或者，
如果所述候选标签集合中w1和w2是同义词，则确定w1和w2为相似标签；或者，如果所述候选标签集合中w1和w2的字面相似度大于预设的相似度阈值T1，则确定w1和w2为相似标签；或者，
如果所述候选标签集合中w1和w2分别出自的搜索结果集合的重叠度大于预设的重叠度阈值T2，则确定w1和w2为相似标签。
10.根据权利要求9所述的方法，其特征在于，所述w1和w2的字面相似度sim1(w1，w2)为：
其中，Cha(X)为X中包含的字集合，|Cha(w1)∩Cha(w2)|为w1和w2中共同包含的字的个数，max{|Cha(w1)|，|Cha(w2)|}为w1包含的字数和w2包含的字数中的最大值。
11.根据权利要求9所述的方法，其特征在于，所述w1和w2分别出自的搜索结果集合的重叠度sim2(w1，w2)为：
其中，SR(X)为搜索结果中X所在的页面集合，|SR(w1)∩SR(w2)|为搜索结果中w1和w2共同所在的页面的数目，max{|SR(w1)|，|SR(w2)|}为搜索结果中w1所在的页面数目和w2所在的页面数目中的最大值。
12.根据权利要求8所述的方法，其特征在于，所述步骤E2为：
在所述候选标签集合中，仅保留相似标签中排序权值f(w)最大的候选标签。
13.根据权利要求1至12任一权项所述的方法，其特征在于，在所述步骤D之后，还包括：
F、将所述搜索结果中的各页面基于所述步骤D选取的标签进行聚类。
14.根据权利要求13所述的方法，其特征在于，在所述步骤F之后还包括：
G、在展现所述搜索结果的同时，展现所述步骤D选取的标签；
H、当用户点击标签时，将所述搜索结果中属于用户所点击标签所在聚类的页面展现给用户。
15.根据权利要求1至12任一权项所述的方法，其特征在于，在所述步骤A之前还包括：
识别所述用户输入的query是否为实体型query，如果是，继续执行所述步骤A；否则不执行所述步骤A；
其中，所述实体型query为一个命名实体。
16.根据权利要求15所述的方法，其特征在于，识别所述用户输入的query是否为实体型query具体包括：
判断所述用户输入的query是否包含在预设的实体列表中，如果是，则识别出所述用户输入的query为实体型query，所述实体列表为通过网络挖掘方式和/或人工方式得到的包含各命名实体的列表；或者，
判断所述用户输入的query的构造是否符合预设的实体构造规则，如果是，则识别出所述用户输入的query为实体型query。
17.一种针对搜索请求抽取搜索结果主题标签的装置，其特征在于，该装置包括：候选集合产生单元、打分处理单元、排序权值确定单元和标签选取单元；
所述候选集合产生单元，用于对用户输入的搜索请求query的搜索结果中的各页面进行分词处理，并对分词处理后得到的各词语进行过滤处理，得到所述query对应的候选标签集合；
所述打分处理单元，用于分别针对所述候选标签集合中的各候选标签w执行操作S2和S3中的任一或任意组合，或者执行操作S2和S3中的任一与操作S1的组合，或者执行操作S1、S2和S3：
S1、基于词频为候选标签w打分，得到候选标签w的打分值f1(w)；
S2、基于候选标签w与所述query在搜索日志中的共现状况，为候选标签w打分，得到候选标签w的打分值f2(w)；
S3、基于候选标签w对于同一实体类型的各query的共性程度，为候选标签w打分，得到候选标签w的打分值f3(w)；
所述排序权值确定单元，用于整合所述打分处理单元的打分结果，得到所述候选标签集合中各候选标签w的排序权值f(w)；
所述标签选取单元，用于选取所述候选标签集合中排序权值f(w)在前M1个的候选标签作为所述query的搜索结果主题标签，M1为预设的正整数。
18.根据权利要求17所述的装置，其特征在于，所述候选集合产生单元中包含分词处理子单元，用于对所述搜索结果中的各页面的标题和/或摘要进行分词处理。
19.根据权利要求17所述的装置，其特征在于，所述候选集合产生单元中包含过滤处理子单元，用于从所述分词处理后得到的各词语中过滤掉预设的停用词表所包含的词语；
或者，
从所述分词处理后得到的各词语中过滤掉在页面中与所述query之间的最小距离超过预设范围的词语。
20.根据权利要求17所述的装置，其特征在于，所述打分处理单元在执行所述操作S1时，按照 得到候选标签w的打分值f1(w)，其中，tf(w)为所述w在所
述搜索结果中出现的次数，c(w)为所述w在语料库中出现的总次数，N为所述各词语在所述语料库中出现次数的最大值。
21.根据权利要求17所述的装置，其特征在于，所述打分处理单元在执行所述操作S2时，按照 得到候选标签w的打分值f2(w)，其中，Ei为所述query，c(w，Ei)为在搜索日志中w与Ei共现的次数，∑w′c(w′，Ei)为搜索日志中各词语与Ei共现的次数和。
22.根据权利要求17所述的装置，其特征在于，所述打分处理单元在执行所述操作S3时，按照 得到候选标签w的打分值f3(w)，其中，Ei为所述
query，C(Ei)为Ei所属的实体类型，Ej∈C(Ei)表示Ej为与Ei属于同一类型的实体，SL(Ei)为Ei对应的候选标签集合，|{Ej|Ej∈C(Ei)，w∈SL(Ej)}|为预先设置的实体列表中实体类型为C(Ei)且候选标签包含w的query个数，|{Ej|Ej∈C(Ei)}|为所述实体列表中实体类型为C(Ei)的query总数，所述实体列表为通过网络挖掘方式和/或人工方式得到的包含各命名实体的列表。
23.根据权利要求17所述的装置，其特征在于，如果所述打分处理单元执行操作S1、S2和S3，则所述排序权值确定单元按照f(w)＝f1(w)×f2(w)×f3(w)或者f(w)＝α1×f1′(w)+β1×f2(w)+γ1×f3(w)得到所述候选标签集合中各候选标签w的排序权值f(w)，其中，α1、β1和γ1是预设的权值参数，f1′(w)为f1(w)进行归一化后的值；
如果所述打分处理单元执行操作S2和S3，则所述排序权值确定单元按照f(w)＝f2(w)×f3(w)或者f(w)＝β2×f2(w)+γ2×f3(w)得到所述候选标签集合中各候选标签w的排序权值f(w)，其中，β2和γ2是预设的权值参数；
如果所述打分处理单元执行操作S1和S2，则所述排序权值确定单元按照f(w)＝f1(w)×f2(w)或者f(w)＝α3×f1′(w)+β3×f2(w)得到所述候选标签集合中各候选标签w的排序权值f(w)，其中α3和β3是预设的权值参数；
如果所述打分处理单元执行操作S1和S3，则所述排序权值确定单元按照f(w)＝f1(w)×f3(w)或者f(w)＝α4×f1′(w)+γ4×f3(w)得到所述候选标签集合中各候选标签w的排序权值f(w)，其中α4和γ4为预设的权值参数；
如果所述打分处理单元仅执行操作S2，则所述排序权值确定单元按照f(w)＝f2(w)得到所述候选标签集合中各候选标签w的排序权值f(w)；
如果所述打分处理单元仅执行操作S3，则所述排序权值确定单元按照f(w)＝f3(w)得到所述候选标签集合中各候选标签w的排序权值f(w)。
24.根据权利要求17所述的装置，其特征在于，该装置还包括：相似标签处理单元，具体包括：相似标签确定子单元和相似标签合并子单元；
所述相似标签确定子单元，用于确定所述候选标签集合中的相似标签；
所述相似标签合并子单元，用于对所述候选标签集合中的相似标签进行合并处理；
所述标签选取单元从所述相似标签合并子单元处理后的候选标签集合中选取所述query的标签。
25.根据权利要求24所述的装置，其特征在于，如果所述候选标签集合中候选标签w1和w2仅存在大小写差别，则所述相似标签确定子单元确定w1和w2为相似标签；或者，如果所述候选标签集合中w1和w2是同义词，则所述相似标签确定子单元确定w1和w2为相似标签；或者，
如果所述候选标签集合中w1和w2的字面相似度大于预设的相似度阈值T1，则所述相似标签确定子单元确定w1和w2为相似标签；或者，
如果所述候选标签集合中w1和w2分别出自的搜索结果集合的重叠度大于预设的重叠度阈值T2，则所述相似标签确定子单元确定w1和w2为相似标签。
26.根据权利要求25所述的装置，其特征在于，所述w1和w2的字面相似度sim1(w1，w2)为：
其中，Cha(X)为X中包含的字集合，|Cha(w1)∩Cha(w2)|为w1和w2中共同包含的字的个数，max{|Cha(w1)|，|Cha(w2)|}为w1包含的字数和w2包含的字数中的最大值。
27.根据权利要求25所述的装置，其特征在于，所述w1和w2分别出自的搜索结果集合的重叠度sim2(w1，w2)为：
其中，SR(X)为搜索结果中X所在的页面集合，|SR(w1)∩SR(w2)|为搜索结果中w1和w2共同所在的页面的数目，max{|SR(w1)|，|SR(w2)|}为搜索结果中w1所在的页面数目和w2所在的页面数目中的最大值。
28.根据权利要求24所述的装置，其特征在于，所述相似标签合并子单元在执行所述合并处理时，仅保留相似标签中排序权值f(w)最大的候选标签。
29.根据权利要求17至28任一权项所述的装置，其特征在于，该装置还包括：结果聚类单元，用于基于所述标签选取单元选取的标签将所述搜索结果中的各页面进行聚类。
30.根据权利要求29所述的装置，其特征在于，该装置还包括：结果展现单元，用于在展现所述搜索结果的同时，展现所述标签选取单元选取的标签；当用户点击标签时，将所述搜索结果中属于用户所点击标签所在聚类的页面展现给用户。
31.根据权利要求17至28任一权项所述的装置，其特征在于，该装置还包括：query类型识别单元，用于识别所述用户输入的query是否为实体型query，如果是，触发所述候选集合产生单元得到所述query对应的候选标签集合；否则，禁止所述候选集合产生单元得到所述query对应的候选标签集合；
其中，所述实体型query为一个命名实体。
32.根据权利要求31所述的装置，其特征在于，query类型识别单元判断所述用户输入的query是否包含在预设的实体列表中，如果是，则识别出所述用户输入的query为实体型query，所述实体列表为通过网络挖掘方式和/或人工方式得到的包含各命名实体的列表；
或者，
判断所述用户输入的query的构造是否符合预设的实体构造规则，如果是，则识别出所述用户输入的query为实体型query。

暂无