一种基于多数据源的企业搜索引擎技术

1.一种基于多数据源的福富企业搜索引擎技术，其特征在于系统同时支持企业内部数据(数据库数据)、外部数据处理(网页、邮件等数据)：
复杂的应用系统环境下，企业内部数据知识管理系统与各业务系统的数据融合将采用几种方式：界面层耦合、业务层耦合、数据层耦合。
经过和业务系统的耦合，对于这些企业内的数据，可以通过简单的系统配置和一定的数据更新策略来完成数据的采集和建立索引工作。
对于企业外的数据搜索处理，通过页面抓取技术将目标网页抓取，解析页面内容并索引处理，经过处理后的Internet数据和企业内的数据一起进行分类。当企业员工使用搜索查询相关信息时，可以同时得到企业内和企业外的相关数据，通过定时抓取网页更新索引数据，保证企业员工获得最新的数据。
具体实现方式是：
关系型数据库采集
福富企业搜索引擎引入了数据网关来实现各类关系数据库与搜索引擎中心数据库之间的数据关联和同步。数据网关包含文档格式分析和文档格式标签过滤模块，该模块对关系型数据库中中的文件内容进行分析并存储到中心数据库。因此数据网关可以对各种关系型数据库中的格式化文档进行全文检索。
网页数据采集
福富企业搜索引擎提出了一种基于反向链接的分层式上下文模型，用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心为目标网页，将网页依据指向目标网页的物理跳数进行层次划分，通过对链接的遍历来完成采集。
网站划分情况分为按域名划分和按IP地址划分两种。在分布式情况下，通过对同一个域名下不同主机、服务器的IP地址进行站点划分，构造站点图，同时，根据不同文件在各个站点上的分布情况，构造文档图，然后进行网页采集。
基于网页的链接分析算法的基本思想是通过网页分割算法将网页分为不同的网页块，然后对这些网页块建立链接矩阵，通过对连接矩阵的遍历来完成网页数据采集。
文件数据采集
对于文件系统中的各类非结构化文档，通过文件数据采集模块进行信息抽取和处理。
把本地各种类型的文档资料加载到中心数据库，从而为实现后续的检索。

暂无