基于Web和Kafka的分布式数据集成系统及方法

发明专利有效专利

申请号：
CN201911297173.3
IPC分类号：G06F16/215;G06F16/2457;G06F16/25;G06F16/27
申请日期：
2019-12-16
申请人：
北京邮电大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	基于Web和Kafka的分布式数据集成系统及方法
申请号	CN201911297173.3	申请日期	2019-12-16
法律状态	实质审查	申报国家	中国
公开/公告日	2020-04-24	公开/公告号	CN111061715A
优先权	暂无	优先权号	暂无
主分类号	G06F16/215	IPC分类号	G;0;6;F;1;6;/;2;1;5;;;G;0;6;F;1;6;/;2;4;5;7;;;G;0;6;F;1;6;/;2;5;;;G;0;6;F;1;6;/;2;7查看分类表>
申请人	北京邮电大学	申请人地址	北京市海淀区西土城路10号北京邮电大学新科研楼627室变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	北京邮电大学	当前权利人	北京邮电大学
发明人	鄂海红;宋美娜;王园
代理机构	北京清亦华知识产权代理事务所（普通合伙）	代理人	蔡丽

摘要

本发明公开了一种基于Web和Kafka的分布式数据集成系统及方法，其中，系统包括：控制台模块，用于为用户提供控制台，使得用户以Web页面操作的形式进行ETL任务的创建和监控；管理服务模块，用于为控制台模块提供管理服务API；模式管理模块，用于管理数据源端的schema和目的地端的schema及其映射；数据抽取模块，用于将管理数据源端的数据抽取数据到消息队列；数据处理模块，用于对数据进行清洗和转换；数据加载模块，用于将数据从消息队列加载到目的地。该系统使得基于KafkaConnect创建ETL实例的过程操作更简单、管理更规范、配置更灵活，并且使得ETL程序耦合度低、容错性高，易于扩展和集成。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供