一种网站重点页面的挖掘方法及装置

暂无

一种网站重点页面的挖掘方法及装置\n【技术领域】\n[0001] 本发明涉及数据挖掘处理技术，特别涉及一种网站重点页面的挖掘方法及装置。\n【背景技术】\n[0002] 网页权威性是搜索引擎对结果进行排序的一个重要参考因素。计算网页权威性时，将参与计算的所有网页作为一个集合，并通过集合内网页之间的链接关系迭代计算网页的权威性。但是随着互联网的发展，互联网上的网页越来越多，如果将互联网上所有网页都作为参与权威性计算的网页，则对计算系统的架构要求非常高，因此通常仅挑选各网站与外部网站存在链接关系的网页作为参与权威性计算的网页，但是现有技术的这种方式，会导致各网站内部的一些优秀网页无法得到权威性值，此外，也会影响参与计算的网页得到的权威性值的准确性。\n[0003] 为了改善上述问题，现有技术有一种做法，是将网站内与外部网站存在链接关系的网页，以及网站内的一些重要网页一起提取出来，作为参与网页权威性计算的网页。在现有技术中，是通过网站中网页的站内反链数量来确定网页的重要性的，例如将网站中站内反链数量大于设定阈值的网页提取出来，如果这些网页所指向网页的站内反链数量也大于设定阈值，则将这些网页及所指网页作为重点网页。但是这种现有技术的方法，召回率较低，准确性也较差。\n【发明内容】\n[0004] 本发明所要解决的技术问题是提供一种网站重点页面的挖掘方法及装置，以提高对网站重点页面进行挖掘时的召回率及准确率。\n[0005] 本发明为解决技术问题而采用的技术方案是提供一种网站重点页面的挖掘方法，包括：分别从网站的各网页中提取导航链接串；分别将提取的各导航链接串拆分为链接对，其中每个链接对由该导航链接串中相邻位置的两个链接构成；从各链接对中确定重点链接对，并将所述重点链接对所对应的页面作为所述网站的重点页面。\n[0006] 根据本发明之一优选实施例，从各链接对中确定重点链接对的步骤包括：分别统计各链接对的出现次数，并将出现次数满足预置条件的链接对作为重点链接对。\n[0007] 根据本发明之一优选实施例，所述预置条件包括：出现次数大于设定值；或者出现次数的排名超过各链接对中设定比例的链接对。\n[0008] 根据本发明之一优选实施例，从各链接对中确定重点链接对的步骤包括：分别利用预先训练好的分类模型对各链接对进行分类，并将分为重要类别的链接对作为重点链接对，其中所述分类模型中的分类特征参数包括链接对的出现次数。\n[0009] 根据本发明之一优选实施例，所述分类模型中的分类特征参数进一步还包括以下至少一种：链接对中指向链接所对应的页面的出度、链接对中指向链接的深度、链接对中被指链接的深度、链接对中指向链接的深度与被指链接的深度之间的差值、链接对所对应的锚文本词数量。\n[0010] 根据本发明之一优选实施例，所述方法进一步包括：计算所述重点页面的网页权威性，其中所述网页权威性是搜索引擎将所述重点页面作为搜索结果返回时，对所述重点页面进行排序的依据。\n[0011] 本发明还提供了一种网站重点页面的挖掘装置，包括：挖掘单元，用于分别从网站的各网页中提取导航链接串；拆分单元，用于分别将提取的各导航链接串拆分为链接对，其中每个链接对由该导航链接串中相邻位置的两个链接构成；确定单元，用于从各链接对中确定重点链接对，并将所述重点链接对所对应的页面作为所述网站的重点页面。\n[0012] 根据本发明之一优选实施例，所述确定单元包括：统计单元，用于分别统计各链接对的出现次数，并将出现次数满足预置条件的链接对作为重点链接对。\n[0013] 根据本发明之一优选实施例，所述预置条件包括：出现次数大于设定值；或者出现次数的排名超过各链接对中设定比例的链接对。\n[0014] 根据本发明之一优选实施例，所述确定单元包括：分类单元，用于分别利用预先训练好的分类模型对各链接对进行分类，并将分为重要类别的链接对作为重点链接对，其中所述分类模型中的分类特征参数包括链接对的出现次数。\n[0015] 根据本发明之一优选实施例，所述分类模型中的分类特征参数进一步还包括以下至少一种：链接对中指向链接所对应的页面的出度、链接对中指向链接的深度、链接对中被指链接的深度、链接对中指向链接的深度与被指链接的深度之间的差值、链接对所对应的锚文本词数量。\n[0016] 根据本发明之一优选实施例，所述装置进一步包括：计算单元，用于计算所述重点页面的网页权威性，其中所述网页权威性是搜索引擎将所述重点页面作为搜索结构返回时，对所述重点页面进行排序的依据。\n[0017] 由以上技术方案可以看出，本发明在确定网站中的重点页面时，不依赖网页的站内反链数量，而是对网站中网页的导航链接串进行分析。实验数据表明，对互联网上的各大网站采用本发明的方法进行挖掘后，召回的重点页面数量与现有技术相比，增加了2000万，并且召回的重点页面大多属于网站的目录页，也就是说本发明方法召回的网页能够很好地反映出网页的重要性，即本发明方法的准确率较高。\n【附图说明】\n[0018] 图1为本发明中网站重点页面的挖掘方法的流程示意图；\n[0019] 图2为本发明中导航链接串的示意图；\n[0020] 图3为本发明中网页源文件的示意图；\n[0021] 图4为本发明中网站重点页面的挖掘装置的实施例一的结构示意框图；\n[0022] 图5为本发明中网站重点页面的挖掘装置的实施例二的结构示意框图；\n[0023] 图6为本发明中模型训练装置的实施例的结构示意框图；\n[0024] 图7为本发明中网站重点页面的挖掘装置的实施例三的结构示意框图。\n【具体实施方式】\n[0025] 为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。\n[0026] 请参考图1，图1为本发明中网站重点页面的挖掘方法的流程示意图。如图1所示，该方法包括：\n[0027] 步骤S101：分别从网站的各网页中提取导航链接串。\n[0028] 步骤S102：分别将提取的各导航链接串拆分为链接对。\n[0029] 步骤S103：从各链接对中确定重点链接对，并将重点链接对所对应的页面作为网站的重点页面。\n[0030] 下面对上述步骤进行具体说明。\n[0031] 请参考图2，图2为本发明中导航链接串的示意图。如图2所示，导航链接串是网页上方由“>”符号连接起来的链接串。\n[0032] 请参考图3，图3为本发明中网页源文件的示意图。如图3所示，本发明中通过“>”符号，可以从网页源文件上定位若干个相邻的超链标签，步骤S101中将这些超链标签中的链接地址提取出来，就得到了一个网页的导航链接串。\n[0033] 步骤S102中的链接对，是由导航链接串中相邻位置的两个链接构成的。如形如“A->B->C->D”的导航链接串，可提取出“A->B”、“B->C”、“C->D”三个链接对。\n[0034] 在将网站中各网页的导航链接串拆分后，得到一个链接对集合，该集合中可以包含重复的元素，例如“A->B”这个链接如果在多个页面的导航链接串中出现，就会成为链接对集合中的重复元素。\n[0035] 作为一种实施方式，步骤S103中从各链接对中确定重点链接对的方式包括：\n[0036] 分别统计各链接对的出现次数，并将出现次数满足预置条件的链接对作为重点链接对。\n[0037] 链接对的出现次数，是元素在上述集合中的出现次数，即链接对在各导航链接串中出现的次数。分别统计上述集合中每个元素的出现次数，就可以根据链接对的出现次数确定重点链接对，如将出现次数满足预置条件的链接对作为重点链接对。\n[0038] 上述预置条件包括：出现次数大于设定值；或者，出现次数的排名超过各链接对中设定比例的链接对。\n[0039] 例如将出现次数大于100的链接对作为重点链接对，或者当各链接对的总数为\n600，设定比例为70%时，由于600*70%=420，则将出现次数排名在前180名的链接对（超过各链接对中的70%的链接对）作为重点链接对。\n[0040] 作为优选的实施方式，步骤S103中从各链接对中确定重点链接对的方式包括：\n[0041] 分别利用预先训练好的分类模型对各链接对进行分类，并将分为重要类别的链接对作为重点链接对。\n[0042] 上述训练好的分类模型中的分类特征参数包括链接对的出现次数。此外，上述训练好的分类模型的分类特征参数还可以进一步包括以下至少一种：链接对中的指向链接所对应的页面的出度、链接对中的指向链接的深度、链接对中的被指链接的深度、链接对中的指向链接的深度与被指链接的深度之间的差值、链接对所对应的锚文本词数量。\n[0043] 下面先介绍一下预先训练分类模型的一种实施方式，本发明中既可以以这种方式得到训练好的分类模型，也可以获取一个第三方训练好的模型作为本发明中的分类模型，只要该模型中的分类特征参数符合上述限定即可。\n[0044] 训练分类模型的方法包括：\n[0045] S1：获取标注好的链接对样本，其中的样本包括正样本和负样本，正样本就是标注为重要链接对的样本，负样本就是标注为非重要链接对的样本。\n[0046] S2：提取各样本的分类特征，以及，利用具有分类特征的样本对分类模型中对应的分类特征参数进行训练，以确定重要链接对的分类特征参数范围以及非重要链接对的分类特征参数范围。\n[0047] 在训练结束后，分类模型的分类特征参数就具备了描述重要链接对的能力。\n[0048] 在利用训练好的分类模型在步骤S103中对各链接对进行分类的步骤中，首先提取待分类的链接对的分类特征，然后将提取的分类特征与训练好的分类模型中的分类特征参数进行比对，如果提取的分类特征落入重要链接对的分类特征参数范围，则待分类的链接对就被分为重要类别，否则待分类的链接对就被分为非重要类别。\n[0049] 下面对前面提到的各个分类特征参数进行一个详细的说明。\n[0050] 链接对的出现次数与步骤S103的上一个实施例中的含义相同，即链接对在步骤S101得到的各导航链接串中出现的次数。\n[0051] 形如“A->B”这样的链接对，链接A即是该链接对中的指向链接，链接B即是该链接对中的被指链接。本发明中，链接对中的指向链接所对应的页面的出度，指的是链接对中的指向链接所对应的页面包含的、指向其他页面的所有链接的总数，如上面“A->B”这个链接对，假设链接A所对应的页面上包含三个指向其他页面的链接，则链接对“A->B”中的指向链接A所对应的页面的出度就是3。\n[0052] 本发明中，链接对中的指向链接的深度，指的是从网站的首页到达指向链接所对应的页面的最少跳转次数。例如网站的首页为F，指向链接所对应的页面为X，链接关系“F->T1->T2->X”表示首页F有指向页面T1的链接，页面T1有指向页面T2的链接，页面T2有指向页面X的链接，即从首页F到页面X的跳转次数为3，如果该跳转次数是从首页F到达页面X的最少跳转次数，则页面X所对应的指向链接的深度就是3。\n[0053] 同理，本发明中，链接对中的被指链接的深度，指的是从网站的首页到达被指链接所对应的页面的最少跳转次数。\n[0054] 假设链接对“A->B”中，指向链接A的深度为3，被指链接B的深度为1，则指向链接的深度与被指链接的深度之间的差值就是3-1=2。\n[0055] 链接对所对应的锚文本词数量，指的是链接对中的两个链接分别对应的锚文本经过切词后得到的锚文本词的总数。如形如“电脑维修->软件故障”这样的链接对，锚文本有“电脑维修”和“软件故障”，切词后得到“电脑”、“维修”、“软件”、“故障”，因此该链接对所对应的锚文本词数量就是4。\n[0056] 在本发明中，利用现有技术的各种机器学习方法，如SVM（support vector machine支持向量机），即可实现对分类模型进行训练以及利用训练好的分类模型对链接对进行分类的步骤，在此不再赘述。\n[0057] 在执行完步骤S103后，本发明就确定了网站中的重点页面。进一步的，本发明还包括计算重点页面的网页权威性，其中网页权威性是搜索引擎将网站的重点页面作为搜索结果返回时，对重点页面进行排序的依据。计算页面的网页权威性，在本领域已有多种公知做法，如美国发明专利号为6285999的专利文件即公开了一种计算网页权威性的方法。\n[0058] 此外，本发明确定的重点页面还可用于生成网站的骨架。重点页面相互之间的链接关系，可以反映一个网站的网页分布情况，利用重点页面相互之间的链接关系生成网站的骨架，就可以对网站网页的类型进行分类。通常网站的骨架形成一个树型的结构，则在同一分支的网站网页可归为一类。\n[0059] 请参考图4，图4为本发明中网站重点页面的挖掘装置的实施例一的结构示意框图。如图4所示，该装置包括：挖掘单元201、拆分单元202及确定单元203。\n[0060] 其中挖掘单元201，用于分别从网站的各网页中提取导航链接串。拆分单元202，用于分别将提取的各导航链接串拆分为链接对。确定单元203，用于从各链接对中确定重点链接对，并将重点链接对所对应的页面作为网站的重点页面。\n[0061] 请参考图2，图2本发明中导航链接串的示意图。如图2所示，导航链接串是网页上方由“>”符号连接起来的链接串。\n[0062] 请参考图3，图3为本发明中网页源文件的示意图。如图3所示，本发明中通过“>”符号，可以从网页源文件上定位若干个相邻的超链标签，挖掘单元201将这些超链标签中的链接地址提取出来，就得到了一个网页的导航链接串。\n[0063] 本发明中的链接对，是由导航链接串中相邻位置的两个链接构成的。如形如“A->B->C->D”的导航链接串，可提取出“A->B”、“B->C”、“C->D”三个链接对。\n[0064] 拆分单元202在将网站中各网页的导航链接串拆分后，得到一个链接对集合，该集合中可以包含重复的元素，例如“A->B”这个链接如果在多个页面的导航链接串中出现，则经过拆分单元202处理，就会成为链接对集合中的重复元素。\n[0065] 在本实施例中，确定单元203包括统计单元2031，其中统计单元2031，用于分别统计各链接对的出现次数，并将出现次数满足预置条件的链接对作为重点链接对。\n[0066] 其中，预置条件包括：出现次数大于设定值；或者，出现次数的排名超过各链接对中设定比例的链接对。\n[0067] 例如统计单元2031将出现次数大于100的链接对作为重点链接对，或者当各链接对的总数为600，设定比例为70%时，由于600*70%=420，则将出现次数排名在前180名的链接对（超过各链接对中的70%的链接对）作为重点链接对。\n[0068] 请参考图5，图5为本发明中网站重点页面的挖掘装置的实施例二的结构示意框图。如图5所示，该实施例与实施例一的区别在于，确定单元203包括分类单元2032，用于分别利用预先训练好的分类模型204对各链接对进行分类，并将分为重要类别的链接对作为重点链接对。\n[0069] 上述训练好的分类模型204中的分类特征参数包括链接对的出现次数。此外，分类特征参数还可以进一步包括以下至少一种：链接对中的指向链接所对应的页面的出度、链接对中的指向链接的深度、链接对中的被指链接的深度、链接对中的指向链接的深度与被指链接的深度之间的差值、链接对所对应的锚文本词数量。\n[0070] 本发明中训练好的分类模型既可以是一个第三方训练好的模型，也可以是预先由模型训练装置得到的模型。请参考图6，图6为本发明中模型训练装置的实施例的结构示意框图。\n[0071] 如图6所示，模型训练装置301包括样本获取单元3011和训练单元3012，其中样本获取单元3011，用于获取标注好的链接对样本。训练单元3012，用于提取各样本的分类特征，以及，利用具有分类特征的样本对分类模型中对应的分类特征参数进行训练，以确定重要链接对的分类特征参数范围以及非重要链接对的分类特征参数范围。\n[0072] 请参考图7，图7为本发明中网站重点页面的挖掘装置的实施例三的结构示意框图。如图7所示，该实施例进一步还包括计算单元205，其中计算单元205，用于计算重点页面的网页权威性，其中网页权威性是搜索引擎向用户返回重点页面时，对重点页面进行排序的依据。计算单元205的实施方式可参考美国发明专利号为6285999的专利文件，在此不再赘述。\n[0073] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。