一种生成parquet文件的方法和装置

发明专利有效专利

申请号：
CN201910173081.8
IPC分类号：G06F16/16;G06F16/172;H03M7/30
申请日期：
2019-03-07
申请人：
网宿科技股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种生成parquet文件的方法和装置
申请号	CN201910173081.8	申请日期	2019-03-07
法律状态	实质审查	申报国家	中国
公开/公告日	2019-06-21	公开/公告号	CN109918347A
优先权	暂无	优先权号	暂无
主分类号	G06F16/16	IPC分类号	G;0;6;F;1;6;/;1;6;;;G;0;6;F;1;6;/;1;7;2;;;H;0;3;M;7;/;3;0查看分类表>
申请人	网宿科技股份有限公司	申请人地址	上海市徐汇区斜土路2899号光启文化广场A幢5楼变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	网宿科技股份有限公司	当前权利人	网宿科技股份有限公司
发明人	陈良龙
代理机构	北京华智则铭知识产权代理有限公司	代理人	王昌贵

摘要

本发明公开了一种生成parquet文件的方法和装置，属于数据存储技术领域。所述方法包括：基于预设DataPage数据值，检测内存中是否缓存有待生成parquet文件的目标RowGroup的目标DataPage；如果是，则将所述目标DataPage转存至磁盘中对应所述待生成parquet文件的目标临时文件；当所述目标RowGroup的所有DataPage均缓存完成时，从所述目标临时文件中读取出各个DataPage，并将各个DataPage写入至所述待生成parquet文件。采用本发明，可以降低生成parquet文件时的内存占用率。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供