Spark作业调度系统中实现任务数据解耦的方法

发明专利有效专利

申请号：
CN201410658665.1
IPC分类号：G06F9/46
申请日期：
2014-11-18
申请人：
北京美琦华悦通讯科技有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	Spark作业调度系统中实现任务数据解耦的方法
申请号	CN201410658665.1	申请日期	2014-11-18
法律状态	授权	申报国家	中国
公开/公告日	2015-02-18	公开/公告号	CN104360903A
优先权	暂无	优先权号	暂无
主分类号	G06F9/46 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06F 电数字数据处理（基于特定计算模型的计算机系统入G06N） G06F9/00 程序控制设计，例如，控制单元（用于外部设备的程序控制入G06F13/10）〔1，4，2006.01，2018.01〕 G06F9/06 使用存储的程序，即使用处理设备的内部存储来接收程序或者保留程序〔1，2006.01〕 G06F9/46 多道程序装置〔3〕	IPC分类号	G;0;6;F;9;/;4;6查看分类表>
申请人	北京美琦华悦通讯科技有限公司	申请人地址	北京市海淀区中关村科学院南路2号融科资讯中心B座8层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	北京赛特斯信息科技股份有限公司	当前权利人	北京赛特斯信息科技股份有限公司
发明人	逯利军;钱培专;汪金忠;余聪;林强;李克民;李拯
代理机构	上海智信专利代理有限公司	代理人	王洁;郑暄

摘要

本发明涉及一种Spark作业调度系统中实现任务数据解耦的方法，其中包括：在一个迭代周期中系统通过任务上下文对象实例读取迭代状态对象的迭代RDD信息，并将迭代RDD信息保存至任务上下文对象中；系统通过Spark任务对象实例在任务上下文对象中查找到对应的RDD信息，并将所对应的RDD信息保存至任务结果对象中；系统通过任务状态对象实例分析任务结果对象中的RDD信息，并将所对应的RDD信息分别保存至对应的状态对象中。采用本发明的Spark作业调度系统中实现任务数据解耦的方法，使RDD可以在各个任务之间传递，或者在任务的前一个周期和下一个周期之间进行，使其以模块化的方式来编写各个任务，具有更广泛的应用范围。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供