一种突发公共卫生事件互联网文本抽取方法

1.一种突发公共卫生事件互联网文本抽取方法，其特征在于包括：
步骤1，筛选作为对突发公共卫生事件信息进行挖掘的社会媒体；
步骤2，对筛选后的社会媒体进行分类；
步骤3，对于不同类别的社会媒体按照不同的方式进行文本抓取；
步骤4，将抓取的结果存入数据库。
2.根据权利要求1所述的突发公共卫生事件互联网文本抽取方法，其中步骤1中的筛选标准是用户基数大、信息更新及时准确、信息完整透明。
3.根据权利要求2所述的突发公共卫生事件互联网文本抽取方法，其中对于用户基数大这一标准，通过获取社会媒体的访问量、用户流量、用户活跃度参数中的一个或多个进行筛选。
4.根据权利要求2所述的突发公共卫生事件互联网文本抽取方法，其中对于信息更新及时准确这一标准，通过获取社会媒体的更新频度、更新时间、用户等级参数中的一个或多个进行筛选。
5.根据权利要求2所述的突发公共卫生事件互联网文本抽取方法，其中对于信息完整透明这一标准，通过排除列表的方式排除一些政府官方网站和可能干扰疫情分析或舆情分析的网站来进行筛选。
6.根据权利要求1所述的突发公共卫生事件互联网文本抽取方法，其中步骤2中的分类中至少包括滚动新闻页面、博客页面、微博页面中的一种。
7.根据权利要求6所述的突发公共卫生事件互联网文本抽取方法，其中对于滚动新闻页面的文本抽取步骤具体包括：
步骤a1：开始抓取，并从事先设定好的人工采集的滚动页面url地址池中获取需要抓取的对应URL；
步骤a2：解析URL对应的网页HTML语言，并分条目获取对应的新闻标题和新闻页面URL地址，生成一个URL地址列表；
步骤a3：将URL地址列表存放于URL地址池中，并作去重操作；
步骤a4：获取步骤a3中经过去重后新增的URL地址所指向的新闻页面的HTML文本；
步骤a5：对HTML文本进行预处理，包括去除HTML标记和文本编码转换；
步骤a6：获取对应属性值并存入新闻抽取结果数据库，包括定位并提取新闻信息文本、定位并提取网络属性文本、整理文本属性信息并对应存储于数据库中；
步骤a7：对步骤a1～a6中的运行参数进行记录，参数包括：程序运行时间、休眠等待时间、抓取新闻条数中的至少一个。
8.根据权利要求6所述的突发公共卫生事件互联网文本抽取方法，其中对于博客页面的文本抽取步骤具体包括：
步骤b1：开始抓取，在程序中输入博客内容的控制筛选信息。例如关键词、排序方式、时间段、关键词位置；
步骤b2：生成搜索结果页面的URL，这里的结果搜索页面并不是由程序本身产生，而是利用了新浪博客搜索引擎内部的URL参数传递机制规则产生；
步骤b3：访问步骤b2按照规则生成的搜索结果界面URL，并对搜索结果页面进行抽取，获取页面列表中各个博客对应页面URL；
步骤b4：根据博客页面URL抽取博客页面HTML文本；
步骤b5：对HTML文本进行预处理，包括去除HTML标记和文本编码转换。
步骤b6：获取对应属性值并存入博客抽取结果数据库，包括定位并提取新闻信息文本、定位并提取网络属性文本、整理文本属性信息并对应存储于数据库中；
步骤b7：对步骤b1～b6中的运行参数进行记录，参数包括：程序运行时间、休眠等待时间、抓取博客条数中的至少一个。
9.根据权利要求6所述的突发公共卫生事件互联网文本抽取方法，其中对于微博页面的文本抽取步骤具体包括：
步骤c1：开始抓取，在程序中输入微博内容的控制筛选信息，包括关键词、排序方式、时间段、关键词位置中的至少一个；
步骤c2：根据筛选信息的值，按照微博的URL生成规则，生成对应URL；
步骤c3：模拟登录；
步骤c4：访问步骤c2按照规则生成的搜索结果界面URL，并对搜索结果页面进行抽取，获得微博搜索页面的源代码；
步骤c5：对HTML文本进行预处理。包括去除HTML标记和文本编码转换；
步骤c6：获取对应属性值并存入微博抽取结果数据库，包括定位并提取微博信息文本、定位并提取网络属性文本、整理文本属性信息并对应存储于数据库中；
步骤c7：对步骤c1～c6中的运行参数进行记录，参数包括：程序运行时间、休眠等待时间、抓取微博条数中的一个或多个。
10.根据权利要求9所述的突发公共卫生事件互联网文本抽取方法，其中，在模拟登录步骤c3中使用Google Chrome自带的浏览器工具获得Cookie值，通过附带该Cookie值的请求获得所需页面数据，在模拟登录时使用多个账号Cookie值进行轮流访问。

暂无