一种数据处理方法及装置

发明专利无效专利

申请号：
CN201710253998.X
IPC分类号：G06F17/30G06F3/06
申请日期：
2017-04-18
申请人：
广东浪潮大数据研究有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种数据处理方法及装置
申请号	CN201710253998.X	申请日期	2017-04-18
法律状态	驳回	申报国家	暂无
公开/公告日	2017-08-25	公开/公告号	CN107092676A
优先权	暂无	优先权号	暂无
主分类号	G06F17/30 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06F 电数字数据处理（基于特定计算模型的计算机系统入G06N） G06F17/00 特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法〔6〕 G06F17/30 信息检索；及其数据库结构〔6〕	IPC分类号	G06F17/30;G06F3/06查看分类表>
申请人	广东浪潮大数据研究有限公司	申请人地址	广东省广州市天河区黄埔大道西平云路163号A塔9层自编0*** 变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	广东浪潮大数据研究有限公司	当前权利人	广东浪潮大数据研究有限公司
发明人	丁良奎
代理机构	北京集佳知识产权代理有限公司	代理人	罗满

摘要

本发明公开了一种数据处理方法及装置，该方法包括：将分布式计算平台中存储的待处理数据转换成按列存储的Parquet格式；利用Spark将Parquet格式的待处理数据按行组加载入内存中，并在内存中对待处理数据进行解压和反序列化后发送至FPGA异构计算装置进行对应计算。本申请公开的技术方案中，先将分布式计算平台中存储的待处理数据转换成按列存储的Parquet格式，再按照行组将Parquet格式的待处理数据加载入内存中进行相关处理后发送至FPGA异构计算装置进行对应计算。本申请中对Parquet格式的待处理数据按照行组进行读取，大大提高了FPGA异构计算装置的数据处理速度。