汉语地名的识别方法

1.一种汉语地名的识别方法，包括：
步骤1)、读入待处理的汉语文本以及候选地名识别所需的计算参数；其中，所述的候选地名识别所需的计算参数包括：地名尾字字表、汉字出现概率、未出现的两字组出现频次期望值、地名中两字组的条件概率值、地名的首字和尾字条件概率、归一化因子以及门限值；
步骤2)、对待处理的汉语文本中的各个语句，根据地名尾字字表找出语句中的地名尾字，然后以地名尾字为基础，计算地名尾字前若干个字符所组成的字符串为候选地名的分数值，根据该分数值与所述门限值间的比较结果，确定所述字符串是否为所在语句中的候选地名；对包含候选地名的语句做分词处理，标注出分词后所得到的词语的概念属性；
步骤3)、读入对候选地名做细化计算所需要的参数，所述参数包括用于表示词语的各个概念类别在确认候选地名时的权重因子λi以及用于表示认可候选地名为地名时的置信门限值PT；
步骤4)、对待处理的汉语文本中的各个语句，根据步骤2)的结果得到语句中的候选地名以及词语的概念属性，然后利用所述的参数λi计算所述候选地名的细化处理分数值，将所得到的细化处理分数值与所述门限值PT加以比较，根据比较结果确定候选地名是否为真正的地名。
2.根据权利要求1所述的汉语地名的识别方法，其特征在于，在所述的步骤2)之后还包括步骤2100)：
利用语言规则对已经得到的候选地名加以过滤。
3.根据权利要求1或2所述的汉语地名的识别方法，其特征在于，所述的步骤2)包括：
步骤201)、从待处理的汉语文本中读取一尚未处理的语句；
步骤202)、根据所述的地名尾字字表在所述的待处理的语句中检测是否有地名尾字出现；
步骤203)、如果出现了地名尾字，就执行后续步骤，否则就重新执行前面的步骤201)；
步骤204)、由所述的尾字条件概率得到已发现的地名尾字CF的条件概率值P(尾字|CF)，将该值除以所述的归一化因子得到当前候选地名字串的归一化分数值G*h，其中，G*h＝P(C2|C1)…P(Ch|Ch-1)P(尾字|Ch)/λh，h表示地名的长度，P(Ch|Ch-1)表示在Ch-1出现的条件下Ch出现的概率，P(尾字|Ch)表示Ch出现地名尾字的概率，λ表示归一化因子；
步骤205)、计算以当前候选地名字串当前的首字为地名首字的归一化候选地名分数Gh，其中，Gh＝P(C1|首字)P(C2|C1)…P(Ch|Ch-1)P(尾字|Ch)/λh+1，P(C1|首字)表示C1作为地名首字的概率；
步骤206)、如果所得到的分数值Gh大于或等于门限值GT，则将候选地名字串记录为候选地名后执行下一步，否则，直接执行下一步；
步骤207)、判断当前处理的字串前是否有汉字，如果是，执行下一步，否则，执行步骤209)；
步骤208)、计算增加这个字后的归一化候选地名字串的分数值G*h+1，判断该分数值是否大于原来的归一化候选地名字串的分数值G*h，若大于则在当前候选地名字串中增加一字作为当前值，然后刷新当前候选地名字串的分数值，否则执行下一步；
步骤209)、判断句子中是否有候选地名，若存在，对句子做分词处理，标注词语对应的概念属性后执行下一步，否则，直接执行下一步；
步骤210)、对待处理的汉语文本中的未处理语句重新执行上述步骤201)-步骤209)，直到完成对文本中所有语句的处理。
4.根据权利要求1或2所述的汉语地名的识别方法，其特征在于，所述的步骤4)包括：
步骤401)、从经过步骤2)处理的汉语文本中读入一未经细化处理的语句；
步骤402)、判断该语句中是否有候选地名，如果没有，重新执行上一步骤，否则，执行下一步；
步骤403)、根据参数λi计算所述候选地名的细化处理分数值，该分数值用p*(y|x)表示；其中，该公式表示特征x出现的时候，候选地名y成立的概率，其中的表示归一化因子，fi(x，y)表示与特征x对应的特征函数；
步骤404)、判断在该语句中是否有位置交叉的多个候选地名，如果存在，则从这些候选地名中选取候选地名细化处理分数值最大的候选地名，然后执行下一步，否则直接执行下一步；
步骤405)、将候选地名的细化处理分数值与所述门限值PT加以比较，如果分数值大于或等于该门限值，则将该候选地名作为识别出的地名并输出，否则该候选地名不认为是真正的地名；
步骤406)、对汉语文本中未经细化处理的语句重新执行上述步骤401)-步骤405)，直到完成对所有语句的处理。
5.根据权利要求1或2所述的汉语地名识别方法，其特征在于，在所述的步骤1)中，所述的候选地名识别所需的计算参数的计算包括：
步骤101)、读入一待处理的训练语料，所述训练语料包括单独的地名以及包括有地名的句子，所述训练语料中的地名已经被标出；
步骤102)、对所述该待处理训练语料中在地名末尾和首部出现的汉字加以记录，并对这些汉字作为地名首字和地名尾字在本条训练语料中出现的频次加以统计，将统计结果与已处理训练语料中所累计的相应地名首字和地名尾字的频次做累加；
步骤103)、对待处理训练语料中出现的所有汉字加以记录，统计这些汉字在训练语料中的出现频次，将统计结果与已处理训练语料中相应汉字的频次进行累加；
步骤104)、对训练语料中的地名的汉字串进行重叠的两字划分，记录所得到的两字组并对两字组的出现频次加以统计；
步骤105)、对所有的待处理训练语料重复上述操作；
步骤106)、统计所有处理后的训练语料，得到关于汉字频次、地名首字和尾字频次、两字组频次的统计观测值，计算各个两字组、地名首字和地名尾字的频次期望值；
步骤107)、根据频次的期望值，计算两字组的出现概率，地名的首字和尾字概率，进而计算所有两字组的后一字出现条件下，前一个字出现的条件概率；
步骤108)、对步骤107)得到的两字组的条件概率按从大到小的顺序排序，选择能够覆盖第一比率的条件概率值为归一化因子；所述第一比率为80％～95％之间的一个值；
步骤109)、计算训练语料中所有地名的归一化候选地名分数，并按照从大到小的顺序进行排序，选择能够覆盖第二比率的的归一化候选地名分数作为门限值；
其中，所述第二比率为75％～90％之间的一个值，所述的归一化候选地名分数的计算采用如下公式：
Gh＝P(C1|首字)P(C2|C1)…P(Ch|Ch-1)P(尾字|Ch)/λh+1
G表示归一化的候选地名分数，h表示地名的长度，P(Cl|Cl+1)表示条件概率，P(C1|首字)表示C1作为地名首字的概率，P(尾字|Ch)表示Ch出现地名尾字的概率，λ为步骤108)中所得到的归一化因子。
6.根据权利要求1或2所述的汉语地名识别方法，其特征在于，在所述的步骤3)中，对候选地名做细化计算所需要的参数的计算包括：
步骤301)、从训练语料中读入一训练语句，所述训练语料为包含有地名的句子，且句子中的各个词语的概念类别已经做了标记；
步骤302)、记录并统计所读入训练语句中各种概念类别出现的频次，将统计结果与已处理语句的统计结果进行累加；
步骤303)、设定获取知识的窗口的大小，统计在窗口范围内各个特征函数所代表的特征概念出现的频次；所述特征函数描述了各个概念类别出现在窗口中不同位置上的情况；
步骤304)、对所述训练语料中的所有训练语句执行上述的步骤301)-步骤303)；
步骤305)、根据在训练语料中统计得到的、在所述窗口范围内特征函数为1时的特征概念出现的频次总和，利用迭代方法求解各个概念特征对应的权重因子λi；
步骤306)、根据参数λi计算所述候选地名的细化处理分数值，该分数值用p*(y|x)表示，然后按照从大到小的顺序进行排列，选择覆盖第三比率的数值作为门限值PT；其中，该公式表示特征x出现的时候，候选地名y成立的概率，其中的表示归一化因子，fi(x，y)表示与特征x对应的特征函数；所述第三比率为75％～90％中的一个值。
7.根据权利要求2所述的汉语地名识别方法，其特征在于，所述的语言规则包括：排除各种带符号的潜在地名；查看去掉“为”、“于”字的地名是否已经被包含，如果被包含则优先处理不包含这些字的地名；查看去掉“和”、“与”、以及顿号的地名是否已经被包含，同时查看这些字前面是否出现了地名，如果前面出现地名同时候选的地名已经包括了去掉这些字的地名候选，则优先处理不包含这些字的地名；由“门”构成的候选地面如果紧邻“事件”，则排除作为候选地名。

暂无