基于拆分机制并行处理实现大数据量高性能处理的方法

发明专利有效专利

申请号：
CN200910024670.6
IPC分类号：G06F17/30;H04Q3/00
申请日期：
2009-02-25
申请人：
南京联创科技股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	基于拆分机制并行处理实现大数据量高性能处理的方法
申请号	CN200910024670.6	申请日期	2009-02-25
法律状态	授权	申报国家	中国
公开/公告日	2009-08-19	公开/公告号	CN101510203
优先权	暂无	优先权号	暂无
主分类号	G06F17/30 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06F 电数字数据处理（基于特定计算模型的计算机系统入G06N） G06F17/00 特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法〔6〕 G06F17/30 信息检索；及其数据库结构〔6〕	IPC分类号	G;0;6;F;1;7;/;3;0;;;H;0;4;Q;3;/;0;0查看分类表>
申请人	南京联创科技股份有限公司	申请人地址	江苏省南京市定淮门12号16楼变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	南京联创科技集团股份有限公司	当前权利人	南京联创科技集团股份有限公司
发明人	沈小军;庞海东;赵懿敏;李捷;曹晓华
代理机构	南京天翼专利代理有限责任公司	代理人	汤志武;王鹏翔

摘要

基于拆分机制并行处理实现大数据量高性能处理的方法，对于电信的话单海量数据通过设置拆分规则，将需要处理的海量数据，平均地拆分成多个文件，并利用文件处理系统的多线程和多CPU并行处理，快速处理海量数据：在文件处理系统中并行处理的过程是模拟数据库sql算法进行计算；通过先罗列出每个汇总表所需要的维度和指标字段，再取并集的方法，制定出一个抽取海量数据源表的SQL语句，读完所有后续海量数据汇总表所需要的信息；组装入库：平均地拆分成多个文件中的形成的小文件汇总工作都完成之后，将所有的结果文件按照目标表类型分别拼接成大文件，然后装载进汇总表；这部分工作可以利用数据库特有的快速入库命令来完成。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供