一种面向web双语平行语料资源的分布式采集系统

1.一种面向web双语平行语料资源的分布式采集系统，其特征在于，该系统包括：
链接存储库模块，用于存储抓取任务中所包含的超链接；
筛选过滤器模块(1)，从链接存储库模块中输入链接流，判断链接是否满足爬行条件；
符合爬行条件的再判断是否包含非双语站点，根据规则判断是否抓取；
网页爬行器模块(2)，由筛选过滤器模块(1)中获得下载列表，然后对下载列表中的url链接对应的网页，从互联网上下载下来；
原始网页库模块，经网页爬行器模块(2)下载来的网页保存到原始网页库模块中，用于存储网页爬行器模块(2)抓取的原始网页；
双语探测模块，从原始网页库模块中读取数据，对某个站点下载下来的网页进行判别，判断含中英句对网页的比例，是否含有双语平行网页，得到该站点是否为双语站点；
黑名单模块，从双语探测模块中判断为非双语站点的则加入到黑名单模块中，用于存储禁止抓取的非双语站点主域名；
双语网页库模块，用于存储双语探测器模块获得的双语网页资源；
链接抽取器模块，从双语网页库模块中读取数据，去除网页中的冗余数据，从网页中抽取超链接。
2.根据权利要求1所述的一种面向web双语平行语料资源的分布式采集系统，其特征在于，所述的链接存储库模块的进一步限定：用于存储维护一个大规模爬取的链接库，它包括网页的URL地址、抓取状态和爬取的时间。
3.根据权利要求1所述的一种面向web双语平行语料资源的分布式采集系统，其特征在于，所述的筛选过滤器模块(1)的进一步限定：筛选过滤器模块(1)通过从链接存储库模块中顺序读取链接项并筛选一个待抓取链接列表；所述筛选的策略由自定义的过滤规则和黑名单规则构成；过滤规则包括通用的正则表达式，以及由黑名单提供的非双语的站点；
从链接存储库模块中读出一条记录后，对其进行规则判断是否将其加入抓取列表，作为网页爬行器模块(2)的输入；另外一个功能，定期的对链接存储库模块进行更新，根据筛选过滤规则，剔除冗余无价值的链接，提高链接存储库质量。
4.根据权利要求1所述的一种面向web双语平行语料资源的分布式采集系统，其特征在于，所述的网页爬行器模块(2)的进一步限定：用于下载网页；各个网页爬行器模块(2)之间相互独立，多个网页爬行器模块(2)在同一时刻并行工作；所述网页爬行器模块(2)的个数由硬件所能承受的能力和网络环境条件所决定。
5.根据权利要求1所述的一种面向web双语平行语料资源的分布式采集系统，其特征在于，所述的原始网页库模块的进一步限定：用于存储网页爬行器模块(2)下载的原始html网页，并记录原始网页的元信息，包括抓取时间、网页编码、网页类型，并且按照站点分类存储；网页爬行器模块(2)的输出都将下载的原始网页进行元信息抽取，然后存储到原始网页数据库模块中，并且作为双语探测器模块的输入。
6.根据权利要求1所述的一种面向web双语平行语料资源的分布式采集系统，其特征在于，所述的双语探测模块的进一步限定：通过对每个站点的网页进行正文提取，根据正文的编码值来判断正文是中文还是英文，根据字符数量计算正文长度，同时将正文所在的标签进行记录，若正文信息中同时包含相当规模的双语文本，则认为该网页为双语混合网页，并进行文本互译判断，判断是否为双语互译的混合网页，经过这些步骤，获得该站点是否为双语站点，对于不包含任何双语网页的站点，将其加入到黑名单模块中。
7.根据权利要求1所述的一种面向web双语平行语料资源的分布式采集系统，其特征在于，所述的黑名单模块的进一步限定：维护一个非双语站点的域名列表，如果域名不是一个双语的站点，则提取域名作为黑名单的一项；黑名单的内容供链接筛选过滤模块使用。
8.根据权利要求1所述的一种面向web双语平行语料资源的分布式采集系统，其特征在于，所述的双语网页库模块的进一步限定：用于存储从原始网页库模块中经双语探测器模块判别出来的双语网页信息，包含抓取时间和网页编码信息。
9.根据权利要求1所述的一种面向web双语平行语料资源的分布式采集系统，其特征在于，所述的链接抽取器模块的进一步限定：以双语网页库模块作为输入，从包含双语互译资源的网页中提取出超链。

暂无