由网页中提取双语平行正文的方法和系统

由网页中提取双语平行正文的方法和系统\n技术领域\n[0001] 本发明涉及语料获取技术领域，具体涉及双语平行语料的获取技术领域。\n背景技术\n[0002] 统计机器翻译是机器翻译的方法之一，基本思想是通过对大量的平行语料进行统计分析，构建统计翻译模型，进而使用此模型进行翻译。近十年来，统计机器翻译的研究取得了很大进展，统计方法逐渐成为国际上机器翻译研究的主流方法。目前常用的机器翻译系统大多采用统计方法，比如Google翻译、Bing翻译和百度翻译。\n[0003] 在统计机器翻译技术中，平行语料库起到了至关重要的作用。有充足数量和良好质量的平行语料，是建立高性能统计机器翻译系统的必要条件。\n[0004] 目前的平行语料都有特定来源，它们的规模有限。\n发明内容\n[0005] 本发明所要解决的技术问题是提供一种从网页中提取双语平行语料的方法与系统，以克服现有的语料库收集效率低和规模不足的问题。本发明提供了由网页中提取双语平行正文的方法和系统。\n[0006] 本发明所述的由网页中提取双语平行正文的系统包括：\n[0007] 网页数据库，用于存储大规模随机爬取的网页及其属性；还用于通过网页的URL进行基于字符的散列处理，并将处理之后的所有网页按照其域名的相近程度分类存储；将所有网页按照其域名的相近程度分类存储是指：将每个网页的域名中的主域名和每个子域名计算获得相应的哈希值，将主域名的哈希值相同的所有网页存在一个大类中，将该大类中下一级子域名的哈希值相同的所有网页再划分到一个子类中，以此类推，将所有网页分类存储；\n[0008] 正文信息提取模块，用于提取每个网页的标签字符串，还用于提取该网页中的正文内容，并且记录所述标签字符串以及该网页正文内容的编码类型和正文长度，并存储至网页数据库；\n[0009] 网页类型判别模块，用于对网页数据库中的所有网页的正文内容进行语言种类判断，如果所述正文内容中存在规模相当的双语文本，则判定该混合网页为混合网页，否则判断该网页为单语种网页；\n[0010] 混合网页处理模块，用于对混合网页中的双语文本进行互译判别，当判定为互译文本时，将该网页中的双语文本整理成双语平行文本格式并保存至双语语料库。\n[0011] 单语种网页处理模块，用于遍历网页数据库中的每一个未标识匹配的单语种网页进行处理，对每个单语种网页的处理过程为：将该单语种网页中的正文内容与网页数据库中其它未标识匹配的单语种网页的正文内容进行互译判别，选择其它未标识匹配单语种网页的原则是优先选择位于同一个子类中的单语种网页，将判定是互译文本的两个单语种网页中的正文内容整理成双语平行文本保存至双语语料库，并将所述两个单语种网页均标识为匹配。\n[0012] 本发明所述的由网页中提取双语平行正文的方法包括如下步骤：\n[0013] 存储大规模随机爬取的网页及其属性至网页数据库的步骤；\n[0014] 通过对已存储的网页的URL进行基于字符的散列处理，并将处理之后的所有网页按照其域名的相近程度分类存储的步骤，该步骤具体包括：计算每个网页的域名中的主域名和每个子域的哈希值步骤，将主域名的哈希值相同的所有网页存在一个大类中的步骤，将该大类中所有网页中下一级子域名的哈希值相同的所有网页再划分到一个子类中的步骤，以此类推，将所有网页分类存储的步骤；\n[0015] 提取每个网页的标签字符串的步骤；\n[0016] 提取该网页中的正文内容的步骤；记录提取的标签字符串以及相应网页正文内容的编码类型和正文长度，并存储至网页数据库的步骤；\n[0017] 对网页数据库中的所有网页的正文内容进行语言种类判断的步骤，该步骤进一步包括：当判定所述正文内容中存在规模相当的双语文本时，判定该混合网页为混合网页的步骤，否则判断该网页为单语种网页的步骤；\n[0018] 对混合网页中的双语文本进行互译判别的步骤，该步骤进一步包括：当判定为互译文本时，将该网页中的双语文本整理成双语平行文本格式并保存至双语语料库的步骤；\n[0019] 遍历网页数据库中的每一个未标识匹配的单语种网页进行处理的步骤，对每个单语种网页的处理过程包括：将该单语种网页中的正文内容与网页数据库中其它未标识匹配的单语种网页的正文内容进行互译判别的步骤，该步骤中选择其它未标识匹配单语种网页的原则是优先选择位于同一个子类中的单语种网页；将判定是互译文本的两个单语种网页中的正文内容整理成双语平行文本保存至双语语料库，并将所述两个单语种网页均标识为匹配的步骤。\n[0020] 上述正文内容的长度是根据正文内容中的字符数量计算获得正文长度。\n[0021] 本发明克服了现有技术领域的技术偏见，将互联网作为语料获取对象，由此带来的技术效果有：\n[0022] 1、由于互联网中存在大量的双语平行文本，从互联网提取出双语平行文本加以训练成双语语料，获取信息量大，语种丰富。\n[0023] 2、由于互联网中的信息是不断更新的，因此将互联网作为语料获取对象获得的双语语料也能够达到持续的更新和增长的效果。\n[0024] 采用本发明获得双语语料，能够大大加快语料的收集效率，也能解决特定来源的语料规模不足的问题。\n附图说明\n[0025] 图1为本发明所述的由网页中提取双语平行正文的系统的工作原理示意图。\n具体实施方式\n[0026] 具体实施方式一、本实施方式所述的由网页中提取双语平行正文的系统包括：\n[0027] 网页数据库，用于存储大规模随机爬取的网页及其属性；还用于通过网页的URL进行基于字符的散列处理，并将处理之后的所有网页按照其域名的相近程度分类存储；将所有网页按照其域名的相近程度分类存储是指：将每个网页的域名中的主域名和每个子域名计算获得相应的哈希值，将主域名的哈希值相同的所有网页存在一个大类中，将该大类中下一级子域名的哈希值相同的所有网页再划分到一个子类中，以此类推，将所有网页分类存储；\n[0028] 正文信息提取模块，用于提取每个网页的标签字符串，还用于提取该网页中的正文内容，并且记录所述标签字符串以及该网页正文内容的编码类型和正文长度，并存储至网页数据库；\n[0029] 网页类型判别模块，用于对网页数据库中的所有网页的正文内容进行语言种类判断，如果所述正文内容中存在规模相当的双语文本，则判定该混合网页为混合网页，否则判断该网页为单语种网页；\n[0030] 混合网页处理模块，用于对混合网页中的双语文本进行互译判别，当判定为互译文本时，将该网页中的双语文本整理成双语平行文本格式并保存至双语语料库。\n[0031] 单语种网页处理模块，用于遍历网页数据库中的每一个未标识匹配的单语种网页进行处理，对每个单语种网页的处理过程为：将该单语种网页中的正文内容与网页数据库中其它未标识匹配的单语种网页的正文内容进行互译判别，选择其它未标识匹配单语种网页的原则是优先选择位于同一个子类中的单语种网页，将判定是互译文本的两个单语种网页中的正文内容整理成双语平行文本保存至双语语料库，并将所述两个单语种网页均标识为匹配。\n[0032] 所述正文内容的长度是根据正文内容中的字符数量计算获得正文长度。\n[0033] 具体实施方式二、本实施方式是对具体实施方式一所述的网页中提取双语平行正文的系统中网页属性的进一步说明，本实施方式中，所述网页属性包括网页的URL地址和爬取的时间。\n[0034] 具体实施方式三、本实施方式是对具体实施方式一所述的由网页中提取双语平行正文的系统的正文信息提取模块的进一步限定，所述正文信息提取模块还用于对提取的网页的标签字符串进行判断，当所述标签字符串为、、、

、或