一种基于物化视图的Spark查询方法、装置及电子设备

发明专利有效专利

申请号：
CN202110470051.0
IPC分类号：G06F16/22;G06F16/242;G06F16/2455
申请日期：
2021-04-28
申请人：
上海淇玥信息技术有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种基于物化视图的Spark查询方法、装置及电子设备
申请号	CN202110470051.0	申请日期	2021-04-28
法律状态	实质审查	申报国家	中国
公开/公告日	2021-08-24	公开/公告号	CN113297212A
优先权	暂无	优先权号	暂无
主分类号	G06F16/22	IPC分类号	G;0;6;F;1;6;/;2;2;;;G;0;6;F;1;6;/;2;4;2;;;G;0;6;F;1;6;/;2;4;5;5查看分类表>
申请人	上海淇玥信息技术有限公司	申请人地址	上海市崇明区横沙乡富民支路58号A2-8914室变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	上海淇玥信息技术有限公司	当前权利人	上海淇玥信息技术有限公司
发明人	袁孝锋
代理机构	北京清诚知识产权代理有限公司	代理人	乔东峰

摘要

本发明公开了一种基于物化视图的Spark查询方法、装置及电子设备，所述方法包括：接收查询语句；将所述查询语句解析为解析器引擎Catalyst中的逻辑计划Logical Plan；将所述Logical Plan与已注册的物化视图进行匹配；若所述Logical Plan能匹配到已注册的物化视图，改写所述Logical Plan；根据改写后的Logical Plan进行查询。本发明基于Spark架构，预先将物化视图注册到Spark内存中，通过物化视图预先计算并保存指定操作的预计算结果。在用户提交查询语句时，将查询语句解析为解析器引擎Catalyst中的Logical Plan；将所述Logical Plan与已注册的物化视图进行匹配；选出Logical Plan能匹配到的已注册物化视图改写所述Logical Plan；从而通过已注册物化视图的预计算结果来加速查询，提升数据访问效率。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供