网络信息抽取及处理的方法及系统

1、一种网络信息抽取及处理的方法，包括如下步骤：
一.新闻下载步骤：包括如下步骤
url分析步骤：系统指定一定的url，程序能够自动的从这些url 上分析出新闻的最终内容url，而不用对每个新闻网站做一个特定的 url模块，采用给予url统计以及对url进行相关性分析的方法，在一 个含有最终内容新闻连接地址的网页，进行统计和分析，找到有用的 最终url地址；
自动抓取新闻网页步骤：将目标地址中的链接页面所有符合url 格式的页面进行下载；
垃圾过滤步骤：实现对抓下来的新闻内容网页进行垃圾过滤，除 去其中的html标签以及一些无用的中文，最终得到中文向量信息；
信息提取步骤：对以上得到的中文向量进行信息提取，前期实 现能够提取标题和内容，后期实现对web新闻内容进行特征提取，相 关性分析，文档分类，排重处理等等；
二.自动生成摘要步骤：进行分词、特征词分析、句子重要分析、 生成摘要，并输出摘要；
三.生成全文索引步骤：对所有已经下载并且完成内容抽取的新 闻内容文件进行全文索引，包括如下步骤：
传入步骤，传入下一个文件名；
索引判断步骤，判断是否已经索引过，是则回到传入步骤，否 则进入下一步；
过滤步骤，过滤其中所有垃圾及无意义的词；
匹配分词步骤，进行词典匹配分词；
ngram分词步骤，进行ngram分词，以免词典分词有未能完全 分出来的词；
更新步骤，对每一个词都更新相关的索引文件，包括关键字和日 期，类别索引；
四.层次文本分类步骤：是把一个新的文档归入一个给定的层次 类别里的一个类里分类步骤；每份文档仅仅只能被归入一个类里，在 层次类别里的每个类与许多词汇和术语相关有较大权重一个给定的 术语在层次中的一个层次上，而stopword在另一个层次上.被摘录的 文档(财政的新闻)的特征词在这个系统中被当作术语和字汇使用； 包括层次训练步骤和文档分类步骤；
层次训练是文档分类的预处理，在分类之前，先对类别的层次进 行训练；训练的功能是要收集来自训练文档的一组特征(特征词)， 然后为每个节点(类别)在层次中分配特征权重，在文档分类算法 中，特征权重是用来为一份新的文档计算类别等级；
文件分类步骤是在被训练阶级组织之后，现在一份文件能被分 类到一个类别，文件分类方法从根类别开始，根类别的所有子类别被 分配等级，它由下面等式计算：
$R_{\mathrm{cd}}=\underset{f}{\Sigma }{N}_{\mathrm{fd}}{W}_{\mathrm{fc}}$
c是一个类别，d是一份文件，f是一个在D中的特征，Rcd是c的等 级，Nfd是f出现在d中的次数，Wfc是f在类别c中的权重；
如果所有子类别的等级都是零的或负的，d被留在根类别；如果 在子类别中有确定的正的最大的等级的类别，则该类别被选择；如果 该类别是一个叶类别，文件d被分到该类别；如果被选择的类别不是 叶类别，则在该类别的子类别中继续进行计算；因此，文件d能分到 叶类别或内部类别。
2、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的新闻下载步骤还包括管理步骤，实现对本机存储的新闻数据 进行管理，如删除，更新等。
3、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的方法还包括新闻查询步骤，包括如下步骤：
提交步骤，用户提交查询条件；
搜索步骤，对索引进行搜索操作，得到结果集；
返回步骤，将结果返回给用户。
4、根据权利要求1所述的网络信息抽取及处理方法，其特征是 所述的方法还包括日志以及事务处理步骤，即使是执行到一半终止 了，下次运行仍然能够恢复原有的索引结果，并且从失败的位置开始 从新进行索引工作，对于下载和摘要等工作进行纪录；下载线程的 url分析模块在分析url的时候，就先读入计数文件，并载入最新的两 个日志文件，用以判断是否已经下载过；每当下载一个新闻内容网页， 就存储相关的url至最新的日志文件中；在索引的过程中，必须先读 入索引的位置信息，然后读入必须索引的日志文件信息；然后对对应 的内容文件进行索引，同时更新索引日志文件中的索引位置信息；在 摘要的过程中，必须先读入摘要的位置信息，然后读入必须摘要的日 志文件信息；然后对对应的内容文件进行摘要，同时更新摘要日志文 件中的摘要位置信息；每当下载完一个文件的源代 码，分析出内容，进行完摘要，完成索引都要对这项工作进行纪录； 下载，摘要，索引三个线程永不停止，即使已经完成了某项工作，比 如摘要已经完成，则重新下载摘要的日志文件，开始摘要。
5、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的方法还包括管理步骤，管理步骤主要实现对本机的数据管 理，类别管理，新闻源管理，数据删除的索引更新，日志更新等。
6、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的自动摘要步骤可以是一个独立的步骤，需要与外部接口的 API接口只有一个get摘要ion，其接口原型为
public String get摘要ion(String FileName，boolean FileMode，int Ratio)
FileName参数，根据FileMode来决定；如果FileMode＝true，那 么FileName则为文件名；否则，为待抽取的文档本身；FileMode参 数是模式参数；Ratio为抽比率，只允许0-100之间的整数。
7、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的生成全文索引步骤可以是一个独立的步骤，所需要提供的接 口参数只是一个文件名。
8、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的新闻下载步骤中采用对html的token分析方法；充分运用 java中的面向对象的思想，将每个html源代码文件看成一个对象， 同时建立一个名为token的类，token用来描述html中一个有意义的 字符串，并且由token继承出来urltoken类，urltoken用来描述特征符 合url格式的token；
在进行html源代码分析的时候，将每个文件看成一个对象，同时 就该文件中每一个html tag以及每一个html tag之间的字符串，都将 其看成一个字符串；
每个token所具有的属性为
　　String tokenstr＝null；//描述该token的串值 　　int tokenloc＝0； //该token在原文件中的位置 　　int gbnum＝0； //该token中具有的中文字符数量 　　boolean iskeentag＝false；//是否完全是一个内容亲密token 　　Float keenvalue＝0； //与内容的亲密程度 　　Token具有的比较特别的方法： 　　public boolean ishref() 　　{ 　　 String flag 1＝″href＝″； 　　 int flag2＝-1； 　　 if(tokenstr.索引Of(flag1)＝＝flag2) 　　 return false； 　　 else 　　 return true； 　　}
该方法用来判断是否一个url html tag；
对url进行分析，主要是由urlanalyse.class与contentanalyse.class 两个类实现的，主要实现了token流的分析；
分析的主要方法：urlanalyse.class有一个方法geturl(string filename)先将源代码转化成token流读入来，然后将每一个符合格式 的url token与这个url后面的gbnum不等于0的token加入缓存的 hashmap中，一般情况下，url后面的gbnum不等于0的token都是新 闻的标题。
9、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的自动生成摘要步骤中分词采用“无词库”分词方法，采用词 频，词重——衡量是词的可能性的算法公式：
P(w)＝F(w)*L(w)c当(F(w)＞minFreq，L(w)＞minLen)否则 P(w)minFreq是预设的词的出现最小频率；通常≥2；降低不是词的串 minLen是预设的词的最短词长；通常≥1；保证低频词不被分开c是 预设的一个常值；通常≥4；保证长词不被分开；
流程如下：整文当作一个字符串，从头开始求子串，对所有子串 求权，取权高者作为词(太多无用扫描)，系统值取一个串，采用所有 文件作为背景。
10、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的自动生成摘要步骤中特征词的抽取，基于词的频率以及想对 于背景知识库的词频来统计，
$P\left(w\right)=F_i\left(w\right)·\left(\frac{\mathrm{numdoc}}{\mathrm{advnumdoc}}\right)·{(L\left(w\right)-D)}^c$
F(w)为词出现的频率，L(w)为词的长度，numdoc为该词的在本文中 出现次数，advnumdoc为所有文档中出现平均次数，D预设的最短词 长。
11、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的自动生成摘要步骤中句子的重要性与摘要的生成的关系：
$T\left(s\right)·\frac{\mathrm{\Sigma Ti}}{s0*s1*s2*m}$
对每一个句子按这个公式计算他们的权重；
Ti为句子组成的词的权重，S0为句子的总词数，S1为句子的字句数，
S2为数词的个数，m为整型常值，通常为1。
12、根据权利要求1所述的网络信息抽取及处理的方法，其特征 是所述的层次训练步骤包括4个步骤：
1)收集来自叶子类的特征词：层次中，对于每个叶子类的训练 文档(新闻)的特征词，只有那些在单一训练文档中出现2次以上或 者在训练文档集出现10次以上的特征词才被收集，这些词最后在摘要 中出现，这些收集的特征词表示了叶子类的特征，当一个叶子类属于 某一个训练文档集时，父类就要包含该叶子类的特征，非叶子类的特 征包括它的孩子节点的所有特征和在所有孩子节点中特征发生频率 的总和；
2)层次最优化步骤：最优化用来解决在类别节和它的父母类别 之间的竞争，因为一份文件(新闻)只能在类别的层次组织中被指定 为一个类别，当在类别之间有竞争的时候，运算法则应该为文件决定 适当的类别，包括如下步骤：
采集步骤，采集在一个类别中所有的特征；
特征判断步骤，判断是否在父母中的特征频率比在这个类别中大， 是则到下一步骤，否则没有操作；
查继步骤，查继承者的特征目录，找出继承者高频率和最低的频 率的特征；
比率判断步骤，判断是否在高的频率和最低的频率之差与最高 频率的比率比门槛值大，是则到下一步骤，否则从所有的继承者删除 该特征。只有父母保有该特征；
删除步骤，从继承者中删除该特征除非继承者有该特征的最高频 率；
3)分配类别特征权重步骤：为类别的每个特征指定权重，有比较 高的权重特征意味着它对类别是更重要的，在每个类别中所有的特征 被分配权重，由下式定义： Wfc＝(λ+(1-λ)×Nfc/Mc) f正在每个存在的特征，c是类别，Wfc是被指定为特征的权重，λ是 一个叁数并且现在设定为0.4，Nfc是f在c中出现的次数，Mc是在c中 任何的特征最大的频率；
当一个特征只出现在兄弟类别中的时候，但是不在c中它本身，它 被指定为负权重，有负权重的特征被增加到c的特征列表，负权重由 下式定义： Wfc＝-(λ+(1-λ)×Nfp/Mp) f正在每个存在的特征，c是类别，Wfc是被指定为特征的权重，λ是 一个叁数并且现在设定为0.4，Nfp是f在c的父类别中出现的次数，Mc 是在c的父类别中任何的特征最大的频率；
4)过滤每个类别的特征列表，每个类别的特征列表将被过滤， 只有前面200个正特征和前面200个负特征被保留到该类别的最终特 征列表中，无论是父类别还是叶类别，其他的特征将被抛弃。限制特 征的数量是用来降低分类一个文件的计算复杂度。
13、一种网络信息抽取及处理的系统，其特征在于：包括如下 装置：
一.新闻下载装置：包括如下装置
url分析装置：系统指定一定的url，程序能够自动的从这些url 上分析出新闻的最终内容url，而不用对每个新闻网站做一个特定的 url模块，采用给予url统计以及对url进行相关性分析的方法，在一 个含有最终内容新闻连接地址的网页，进行统计和分析，找到有用的 最终url地址；
自动抓取新闻网页装置：将目标地址中的链接页面所有符合url 格式的页面进行下载；
垃圾过滤装置：实现对抓下来的新闻内容网页进行垃圾过滤，除 去其中的html标签以及一些无用的中文，最终得到中文向量信息；
信息提取装置：对以上得到的中文向量进行信息提取，前期实 现能够提取标题和内容，后期实现对web新闻内容进行特征提取，相 关性分析，文档分类，排重处理等等；
二.自动生成摘要装置：进行分词、特征词分析、句子重要分析、 生成摘要，并输出摘要；
三.生成全文索引装置：对所有已经下载并且完成内容抽取的新 闻内容文件进行全文索引，包括如下装置：
传入装置，传入下一个文件名；
索引判断装置，判断是否已经索引过，是则回到传入装置，否 则进入下一步；
过滤装置，过滤其中所有垃圾及无意义的词；
匹配分词装置，进行词典匹配分词；
ngram分词装置，进行ngram分词，以免词典分词有未能完全 分出来的词；
更新装置，对每一个词都更新相关的索引文件，包括关键字和日 期，类别索引；
四.层次文本分类装置：是把一个新的文档归入一个给定的层次 类别里的一个类里分类装置；每份文档仅仅只能被归入一个类里，在 层次类别里的每个类与许多词汇和术语相关有较大权重一个给定的 术语在层次中的一个层次上，而stopword在另一个层次上.被摘录的 文档(财政的新闻)的特征词在这个系统中被当作术语和字汇使用； 包括层次训练装置和文档分类装置；
层次训练装置是对文档分类的预处理，在分类之前，先对类别的 层次进行训练；训练的功能是要收集来自训练文档的一组特征(特征 词)，然后为每个节点(类别)在层次中分配特征权重，在文档分类 算法中，特征权重是用来为一份新的文档计算类别等级；
文件分类装置是在被训练阶级组织之后，现在一份文件能被分 类到一个类别，文件分类方法从根类别开始，根类别的所有子类别被 分配等级，它由下面等式计算：
$R_{\mathrm{cd}}=\underset{f}{\Sigma }{N}_{\mathrm{fd}}{W}_{\mathrm{fc}}$
c是一个类别，d是一份文件，f是一个在D中的特征，Rcd是c的等 级，Nfd是f出现在d中的次数，Wfc是f在类别c中的权重；
如果所有子类别的等级都是零的或负的，d被留在根类别；如果 在子类别中有确定的正的最大的等级的类别，则该类别被选择；如果 该类别是一个叶类别，文件d被分到该类别；如果被选择的类别不是 叶类别，则在该类别的子类别中继续进行计算；因此，文件d能分到 叶类别或内部类别。
14、根据权利要求13所述的网络信息抽取及处理的系统，其特 征是所述的新闻下载装置还包括管理装置，实现对本机存储的新闻数 据进行管理，如删除，更新等。
15、根据权利要求13所述的网络信息抽取及处理系统，其特征 是所述的系统还包括新闻查询装置，包括如下装置：
提交装置，用户提交查询条件；
搜索装置，对索引进行搜索操作，得到结果集；
返回装置，将结果返回给用户。
16、根据权利要求13所述的网络信息抽取及处理系统，其特征 是所述的系统还包括日志以及事务处理装置，即使是执行到一半终止 了，下次运行仍然能够恢复原有的索引结果，并且从失败的位置开始 从新进行索引工作，对于下载和摘要等工作进行纪录；下载线程的 url分析模块在分析url的时候，就先读入计数文件，并载入最新的两 个日志文件，用以判断是否已经下载过；每当下载一个新闻内容网页， 就存储相关的url至最新的日志文件中；在索引的过程中，必须先读 入索引的位置信息，然后读入必须索引的日志文件信息；然后对对应 的内容文件进行索引，同时更新索引日志文件中的索引位置信息；在 摘要的过程中，必须先读入摘要的位置信息，然后读入必须摘要的日 志文件信息。然后对对应的内容文件进行摘要，同时更新摘要日志文 件中的摘要位置信息；每当下载完一个文件的源代码，分析出内容， 进行完摘要，完成索引都要对这项工作进行纪 录；下载，摘要，索引三个线程永不停止，即使已经完成了某项工作， 比如摘要已经完成，则重新下载摘要的日志文件，开始摘要。
17、根据权利要求13所述的网络信息抽取及处理的系统，其特 征是所述的系统还包括管理装置，管理装置主要实现对本机的数据管 理，类别管理，新闻源管理，数据删除的索引更新，日志更新等。
18、根据权利要求13所述的网络信息抽取及处理的系统，其特 征是所述的自动摘要装置可以是一个独立的装置，需要与外部接口的 API接口只有一个get摘要ion，其接口原型为
public String get摘要ion(String FileName，boolean FileMode，int Ratio)
FileName参数，根据FileMode来决定；如果FileMode＝true，那 么FileName则为文件名；否则，为待抽取的文档本身；FileMode参 数是模式参数；Ratio为抽比率，只允许0-100之间的整数。
19、根据权利要求13所述的网络信息抽取及处理的系统，其特 征是所述的生成全文索引装置可以是一个独立的装置，所需要提供的 接口参数只是一个文件名。
20、根据权利要求13所述的网络信息抽取及处理的系统，其特 征是所述的新闻下载装置中采用对html的token分析方法；充分运用 java中的面向对象的思想，将每个html源代码文件看成一个对象， 同时建立一个名为token的类，token用来描述html中一个有意义的 字符串，并且由token继承出来urltoken类，urltoken用来描述特征符 合url格式的token；
在进行html源代码分析的时候，将每个文件看成一个对象，同 时就该文件中每一个html tag以及每一个html tag之间的字符串，都 将其看成一个字符串；
每个token所具有的属性为
　　String tokenstr＝null；//描述该token的串值 　　int tokenloc＝0； //该token在原文件中的位置 　　int gbnum＝0； //该token中具有的中文字符数量 　　boolean iskeentag＝false；//是否完全是一个内容亲密token 　　Float keenvalue＝0； //与内容的亲密程度 　　Token具有的比较特别的方法： 　　public boolean ishref() 　　{ 　　 String flag 1＝″href＝″； 　　 int flag2＝-1； 　　 if(tokenstr.索引Of(flag1)＝flag2) 　　 return false； 　　 else 　　 return true； 　　}
该方法用来判断是否一个url html tag；
对url进行分析，主要是由urlanalyse.class与contentanalyse.class 两个类实现的，主要实现了token流的分析；
分析的主要方法：urlanalyse.class有一个方法geturl(string filename)先将源代码转化成token流读入来，然后将每一个符合格式 的url token与这个url后面的gbnum不等于0的token加入缓存的 hashmap中，一般情况下，url后面的gbnum不等于0的token都是新 闻的标题。
21、根据权利要求13所述的网络信息抽取及处理的系统，其特 征是所述的自动生成摘要装置中分词采用“无词库”分词方法，采用 词频， 当P(w)＝F(w)*L(w)c(F(w)＞minFreq，L(w)＞minLen)否则P(w)minFreq是 预设的词的出现最小频率；通常≥2；降低不是词的串minLen是预设 的词的最短词长；通常≥1；保证低频词不被分开c是预设的一个常 值；通常≥4；保证长词不被分开；
流程如下：整文当作一个字符串，从头开始求子串，对所有子串 求权，取权高者作为词(太多无用扫描)，系统值取一个串，采用所有 文件作为背景；
22、根据权利要求13所述的网络信息抽取及处理的系统，其特 征是所述的自动生成摘要装置中特征词的抽取，基于词的频率以及想 对于背景知识库的词频来统计，
$P\left(w\right)=F_i\left(w\right)·\left(\frac{\mathrm{numdoc}}{\mathrm{advnumdoc}}\right)·{(L\left(w\right)-D)}^c$
F(w)为词出现的频率，L(w)为词的长度，numdoc为该词的在本文中 出现次数，advnumdoc为所有文档中出现平均次数，D预设的最短词 长。
23、根据权利要求13所述的网络信息抽取及处理的系统，其特 征是所述的自动生成摘要装置中句子的重要性与摘要的生成的关系：
$T\left(s\right)·\frac{\mathrm{\Sigma Ti}}{s0*s1*s2*m}$
对每一个句子按这个公式计算他们的权重；
Ti为句子组成的词的权重，S0为句子的总词数，S1为句子的字句数，
S2为数词的个数，m为整型常值，通常为1。
24、根据权利要求13所述的网络信息抽取及处理系统，其特征是 所述的层次训练装置包括4个装置：
1)收集装置：收集来自叶子类的特征词；层次中，对于每个叶 子类的训练文档(新闻)的特征词，只有那些在单一训练文档中出现 2次以上或者在训练文档集出现10次以上的特征词才被收集，这些词 最后在摘要中出现，这些收集的特征词表示了叶子类的特征，当一个 叶子类属于某一个训练文档集时，父类就要包含该叶子类的特征，非 叶子类的特征包括它的孩子节点的所有特征和在所有孩子节点中特 征发生频率的总和；
2)层次最优化装置：最优化用来解决在类别节和它的父母类别 之间的竞争，因为一份文件(新闻)只能在类别的层次组织中被指定 为一个类别，当在类别之间有竞争的时候，运算法则应该为文件决 定适当的类别，包括如下装置：
采集装置，采集在一个类别中所有的特征；
特征判断装置，判断是否在父母中的特征频率比在这个类别中大， 是则到下一装置，否则没有操作；
查继装置，查继承者的特征目录，找出继承者高频率和最低的频 率的特征；
比率判断装置，判断是否在高的频率和最低的频率之差与最高频 率的比率比门槛值大，是则到下一装置，否则从所有的继承者删除该 特征。只有父母保有该特征；
删除装置，从继承者中删除该特征除非继承者有该特征的最高频 率；
3)分配类别特征权重装置：为类别的每个特征指定权重，有比较 高的权重特征意味着它对类别是更重要的，在每个类别中所有的特征 被分配权重，由下式定义： Wfc＝(λ+(1-λ)×Nfc/Mc) f正在每个存在的特征，c是类别，Wfc是被指定为特征的权重，λ是 一个叁数并且现在设定为0.4，Nfc是f在c中出现的次数，Mc是在c中 任何的特征最大的频率；
当一个特征只出现在兄弟类别中的时候，但是不在c中它本身，它 被指定为负权重，有负权重的特征被增加到c的特征列表，负权重由 下式定义： Wfc＝-(λ+(1-λ)×Nfp/Mp) f正在每个存在的特征，c是类别，Wfc是被指定为特征的权重，λ是 一个叁数并且现在设定为0.4，Nfp是f在c的父类别中出现的次数，Mc 是在c的父类别中任何的特征最大的频率；
4)过滤装置：过滤每个类别的特征列表，每个类别的特征列表 将被过滤，只有前面200个正特征和前面200个负特征被保留到该类 别的最终特征列表中，无论是父类别还是叶类别，其他的特征将被抛 弃。限制特征的数量是用来降低分类一个文件的计算复杂度。

暂无