一种数据处理方法及系统

暂无

一种数据处理方法及系统\n技术领域\n[0001] 本发明涉及数据仓库的数据处理技术领域，具体涉及一种数据处理方法及系统。\n背景技术\n[0002] 随着大数据概念的兴起，各级政府部门都在基于数据仓库技术，积极地利用政府管理过程中产生的各类结构化和非结构化数据，传统数据仓库技术基于的前提是已经明确了数据如何去利用，但现实的需求是政府部门需要先将数据收集起来，如何利用数据还没有完全想清楚。\n[0003] 传统数据仓库技术的基本原理是将数据源中的原始数据抽取到临时区，经过统一的清洗、转换和加工后，更新到维度表和事实表，通过数据可视化工具基于事实表和维度表组成的多维立方体进行数据利用。但是，在利用传统数据仓库技术建设政府数据仓库过程中面临一系列的挑战，由于历史数据的口径比较粗、规范性相对不高，在不同年度、不同区划的数据管理口径不一致，在业务上缺乏统一的转换规则，往往需要业务人员对操作数据进行逐一确认转换方式，这种工作量和难度是不可想象的；即使数据按照统一的数据规范完成转换，由于政府管理数据口径与分析数据口径有很大差异，导致操作数据无法直接用于分析，往往需要技术人员开发复杂的转换代码，需要进行大量的临时运算工作，经常出现展现效率低，甚至是数据不一致的现象，导致不能够快速响应需求，数据的实用性大大降低。\n发明内容\n[0004] 针对现有技术中存在的缺陷，本发明的目的在于提供一种数据处理方法及系统，提高数据处理的效率以及处理后数据的实用性。\n[0005] 为实现上述目的，本发明采用的技术方案为：一种数据处理方法，包括以下步骤：\n[0006] （1）将原始数据存储到主题表中，并在主题表中记录需要生成维度表的维度的代码和名称；所述的主题表是指根据业务对象的描述需求构建的用于存储各类原始业务数据的数据表；\n[0007] （2）根据主题表中记录的维度的代码和名称生成对应的维度表，将对应的维度表数据存储在维度表中，并生成每一个维度的维度ID；\n[0008] （3）根据所述的维度ID，从主题表生成与维度表关联的事实表，并将对应的事实表数据存储在事实表中；\n[0009] （4）根据需要从事实表生成应用汇总表，得到应用汇总数据，并存储到应用汇总表中；所述的应用汇总表用于存储根据预设的派生计算关系将事实表中的数据转换后的数据。\n[0010] 进一步，如上所述的一种数据处理方法，步骤（1）中，将原始数据存储到主题表之前，首先将原始数据存储到临时区，之后从临时区获取原始数据存储到主题表中，将原始数据存储到主题表后，删除临时区中对应的原始数据。\n[0011] 进一步，如上所述的一种数据处理方法，步骤（1）中，对原始数据进行预处理后，再将原始数据存储到主题表中；所述的预处理包括补齐原始数据缺少的全局性属性、统一转换区划和日期属性、以及删除主题表中不需要的数据；所述的不需要的数据包括作废和在途的业务数据。\n[0012] 进一步，如上所述的一种数据处理方法，步骤（3）中，根据维度ID从主题表生成与维度表关联的事实表的具体方式包括：\n[0013] 根据需要的数据的维度名称，在主题表中获取该维度名称对应的维度代码，将主题表中记录的维度代码与对应维度表中的维度代码关联，得到维度ID，将维度ID存储到事实表中，并将主题表中该维度下的非维度表数据直接存储到事实表中。\n[0014] 进一步，如上所述的一种数据处理方法，步骤（3）中，生成事实表时，采用增量抽取的方式，只抽取设定时间段的主题表中的数据更新到事实表中。\n[0015] 进一步，如上所述的一种数据处理方法，步骤（4）中，根据需要从事实表生成应用汇总表的具体方式包括：\n[0016] 根据需要，预设派生计算关系，根据派生计算关系生成派生维度表；所述的派生计算关系是指派生维度表与维度表之间的计算关系；\n[0017] 将派生计算公式与事实表中的维度ID关联，并根据派生计算公式对事实表中的数据进行转换，生成应用汇总表。\n[0018] 再进一步，如上所述的一种数据处理方法，步骤（4）中，所述的派生计算关系包括加、减和乘的运算关系。\n[0019] 更进一步，如上所述的一种数据处理方法，步骤（4）中，根据派生计算公式对事实表中的数据进行转换时，将所述的派生计算关系转换为笛卡尔积的运算关系。\n[0020] 一种数据处理系统，包括：\n[0021] 主题表构建模块，用于建立主题表，将原始数据存储到主题表中，并在主题表中记录需要生成维度表的维度的代码和名称；所述的主题表是指根据业务对象的描述需求构建的用于存储各类业务数据的数据表；\n[0022] 维度表生成模块，用于根据主题表中记录的维度的代码和名称生成对应的维度表，将对应的维度表数据存储在维度表中，并生成每一个维度的维度ID；\n[0023] 事实表生成模块，用于根据所述的维度ID，从主题表生成与维度表关联的事实表，并将对应的事实表数据存储在事实表中；\n[0024] 应用汇总表生成模块，根据需要从事实表生成应用汇总表，得到应用汇总数据，并存储到应用汇总表中；所述的应用汇总表用于存储根据预设的派生计算关系将事实表中的数据转换后的数据。\n[0025] 进一步，如上所述的一种数据处理系统，所述的应用汇总表生成模块包括：\n[0026] 派生维度表生成单元，用于预设派生计算关系，根据派生计算关系生成派生维度表；所述的派生计算关系是指派生维度表与维度表之间的计算关系；\n[0027] 应用汇总表生成单元，用于将派生计算公式与事实表中的维度ID关联，并根据派生计算公式对事实表中的数据进行转换，生成应用汇总表。\n[0028] 本发明的有益效果在于：本发明所述的方法及系统，通过在数据处理流程中增加了“主题表”、“派生维”和“应用数据表”，使数据能够基于主题表进行重复利用，此外，通过派生维支持的计算，实现了数据分析口径的转换，有效提高了数据处理的效率和处理后数据的实用性。\n附图说明\n[0029] 图1为具体实施方式中一种数据处理系统的架构示意图；\n[0030] 图2为具体实施方式中一种数据处理系统的结构框图；\n[0031] 图3为具体实施方式中一种数据处理系统的流程图；\n[0032] 图4为具体实施方式中主题表的结构示意图；\n[0033] 图5为具体实施方式中维度表的示意图；\n[0034] 图6为实施例中维度表的示意图；\n[0035] 图7为实施例中事实表的示意图；\n[0036] 图8为实施例中派生维度表的示意图；\n[0037] 图9为实施例中将派生计算关系转换为笛卡尔积运算关系的示意图；\n[0038] 图10为实施例中应用汇总表的示意图。\n具体实施方式\n[0039] 下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。\n[0040] 为了更好的理解本发明，首先对本具体实施方式中所涉及的技术术语进行解释说明：\n[0041] 临时区：用于临时存储从数据源中获取的原始数据，一般情况下存储的数据是不完整的，如：一年数据、一月数据或一天数据，在数据抽取到主题表后，临时区的数据会被丢弃。\n[0042] 主题表：用于永久存储政府跨年度、跨区划的各类业务数据，作为数据仓库最核心的部分，主题表的结构按照业务对象的描述需求来构建，主题表的数据保留原有业务的细颗粒度，能够最大程度地描述原始业务。\n[0043] 维度表：传统数据仓库的一部分，用于存储维度表数据。\n[0044] 事实表：传统数据仓库的一部分，用于存储加工后的业务数据，与维度表一起构成数据仓库“立方体”，便于灵活的多维数据分析。\n[0045] 派生维度表：用于存储派生维定义的数据，包括派生维值集列表，以及每一个派生维值的计算公式。\n[0046] 应用汇总表：用于存储依据派生维定义计算出来的统计分析数据，按照实际的统计分析需要，数据存储的颗粒度更粗，能够被可视化工具直接利用。\n[0047] 图1和图2分别示出了本具体实施方式中一种数据处理系统的架构示意图和结构框图，该系统包括主题表构建模块11、维度表生成模块12、事实表生成模块13、以及应用汇总表生成模块14，其中：\n[0048] 主题表构建模块11用于建立主题表，将原始数据存储到主题表中，并在主题表中记录需要生成维度表的维度的代码和名称；所述的主题表是指根据业务对象的描述需求构建的用于存储各类业务数据的数据表；\n[0049] 维度表生成模块12用于根据主题表中记录的维度的代码和名称生成对应的维度表，将对应的维度表数据存储在维度表中，并生成每一个维度的维度ID；\n[0050] 事实表生成模块13用于根据所述的维度ID，从主题表生成与维度表关联的事实表，并将对应的事实表数据存储在事实表中；\n[0051] 应用汇总表生成模块14根据需要从事实表生成应用汇总表，得到应用汇总数据，并存储到应用汇总表中；所述的应用汇总表用于存储根据预设的派生计算关系将事实表中的数据转换后的数据。该模块包括派生维度表生成单元141和应用汇总表生成单元142，派生维度表生成单元141用于预设派生计算关系，根据派生计算关系生成派生维度表；所述的派生计算关系是指派生维度表与维度表之间的计算关系；应用汇总表生成单元142用于将派生计算公式与事实表中的维度ID关联，并根据派生计算公式对事实表中的数据进行转换，生成应用汇总表。\n[0052] 图3示出了本具体实施方式中基于图2中所示系统的一种数据处理方法的流程图，该方法包括以下步骤：\n[0053] 步骤S21：构建主题表，将原始数据存储到主题表中；\n[0054] 首先构建一主题表，将数据源的原始数据存储到主题表中，并在主题表中记录需要生成维度表的维度的代码和名称。所述的主题表是指根据业务对象的描述需求构建的用于存储各类原始业务数据的数据表。本实施方式中的主题表用于永久存储政府跨年度、跨区划的各类业务数据，作为数据仓库最核心的部分，主题表中的数据保留了原有业务数据的细颗粒度，能够最大程度的描述原始业务。\n[0055] 本实施方式中，在将原始数据存储到主题表之前，还可以建立一用于暂时存储从数据源中获取的原始数据的临时区，首先将原始数据存储到临时区，之后从临时区获取原始数据存储到主题表中，如图1中所示，临时区一般情况下存储的数据并不是完整的原始数据，而只是一设定时间范围内的数据，如一年的数据、一个月的数据或一天的数据，在将原始数据存储到主题表后，会删除临时区中对应的原始数据。\n[0056] 数据源的原始数据可以是一个数据文件，如Excel文件，也可以是一个数据库的快照。在将原始数据存储到主题表之前，还需要对原始数据进行一些预处理，这些预处理主要包括补齐原始数据缺少的全局性属性、统一转换区划和日期属性、以及删除主题表中不需要的数据。\n[0057] 其中，所述的全局性属性包括但不限于原始数据的日期（年度、月份等）以及区划等。在统一转换区划和日期属性时，需要确保区划和日期这两类属性的代码与步骤S22中建立的维度表中的区划维度表和日期维度表中的代码保持一致。所述的不需要的数据包括作废和在途的业务数据。\n[0058] 图4中示出了本实施方式中一“支付凭证”主题表结构的示意图，该主题表中“字段名”一列所示的为原始数据的全局性属性，字段描述是对全局性属性的解释说明，用于帮助理解字段名的含义，如字段名为“YEAR”的属性的含义是“年度”。该表中除了保留了上述原始的支付ID、支付凭证号、摘要等属性信息外，同时还为步骤S22中设计了维度的代码和字段名称，如图4中所示的“业务处室”、“资金性质”以及“预算单位”等是需要生成维度表的属性（步骤S22中的维度），因此在该步骤中为“业务处室”、“资金性质”以及“预算单位”等属性设计了维度的代码和字段名称。该实施例中在设计维度的代码和字段名称时，其前缀与主题表设计规范一致，后缀分别带“CODE”和“NAME”的字段名分别为维度的代码和维度的名称。此外，图4中的“源系统ID”指的是原始业务数据表的唯一主键ID，主题表中存储了其对应的原始业务表数据的唯一主键ID，通过该ID可以实现主题表与最原始采集数据的关联与核对。\n[0059] 通过主题表的合理设计，能够确保每一条记录能够独立完整的描述一笔业务，通过表中的数据能够反映出一笔具体的支付业务，什么时候支付的、支付给哪个单位、哪个处室以及支付金额等信息。\n[0060] 在主题表中具体需要设计哪些维度的代码和名称是由用户根据需要确定的，但是需要保证主题表中需要生成维度表的属性的代码和名称与维度表中维度的代码和名称一致，如图4中的资金性质，在生成维度表时，主题表中资金性质的代码和名称需要与步骤S22中生成的维度表中的资金性质的代码和名称一致。\n[0061] 步骤S22：根据需要从主题表生成维度表；\n[0062] 步骤S23：根据需要从主题表生成事实表；\n[0063] 在步骤S21中，主题表中记录了需要生成维度表的维度的代码和名称，根据主题表中记录的这些维度的代码和名称分别生成对应的维度表，将对应的维度表数据（维度表数据是指维度名称和维度代码）存储在维度表中，并生成每一个维度的维度ID。例如对于一主题表中的记录的“区划”这一维度的代码和名称，生成区划维度表，并在该维度表中记录所有区划维度的代码和名称，同时生成每一个区划维度的维度ID，如图5所示，“局领导”这一维度，其维度名称为“局领导”、维度代码“01”，维度ID为“118301”，由步骤S21中的描述可知，对于图5中的维度表，其中维度代码“01”和维度名称“局领导”在主题表中也记录了维度代码“01”和维度名称“局领导”。\n[0064] 此外，为了提高维度表的效率，避免重复生成，在生成维度表时，可以首先将主题表中记录的维度代码与对应维度表里的维度代码进行比较，如果在维度表中找不到匹配的维度代码和维度名称，则将主题表中记录的维度代码和名称存储到该维度表中，并补充生成对应该维度代码的维度ID，如果在维度表中找到了匹配的结果，则说明在维度表中已经存储该维度代码和维度名称，不需要再生成。在更新维度表时遵循的规则包括：维度表的值集只增加和修改，不能删除（同一维度在不同年度值集可能不一样，如果删除，会导致历史年度的业务数据在维度表值集中找不到相应的维度代码，无法再进行分析）；以本区划和本年度的值集为基础值集；本年度存在代码和名称冲突时使用最新的名称；历史年度的代码在本年度没有使用且层次关系不存在冲突时增加到维度表中。\n[0065] 在生成维度表后，根据维度表中的维度ID，从主题表生成与维度表关联的事实表，并将对应的事实表数据存储在事实表中。具体的生成方式为：\n[0066] 根据需要的数据的维度名称，在主题表中获取该维度名称对应的维度代码，将主题表中记录的该维度代码与对应维度表中的维度代码关联，得到维度ID，将得到的维度ID存储到事实表中，并将主题表中该维度下的非维度表数据直接存储到事实表中。\n[0067] 也就是说，在生成事实表时，首先根据需要的数据的维度名称，在主题表中得到该维度名称对应的维度代码，之后根据主题表与维度表中的维度代码关联得到对应的维度ID，并将维度ID以及主题表中该维度下需要的非维度表数据存储到事实表中。如图4中的“业务处室”对应的数据，首先将“支付凭证”主题表中的某一业务处室代码和图5中业务处室维度表的维度代码进行关联，得到相应业务处室的维度ID，然后将得到的业务处室维度ID存储到事实表中，并将主题表中该业务处室对应的非维度表数据（维度代码和名称之外的数据）直接存储到事实表中。\n[0068] 事实表只有维度ID和具体的度量字段（非维度表数据），从主题表生成事实表时，采用增量抽取的方式，根据事实表的类型只抽取设定时间段（如最近一年、一月或一日的汇总数据）的主题表中的数据更新到事实表中。\n[0069] 本实施方式中，将存储在各表中的数据的名称定义为与其表名称对应名称，如存储在维度表中的数据称为维度表数据，将存储在事实表中的数据称为事实表数据，将应用汇总表中的数据称为应用汇总数据。\n[0070] 步骤S24：根据需要从事实表生成应用汇总表。\n[0071] 根据需要从事实表生成应用汇总表，得到应用汇总数据，并存储到应用汇总表中；\n所述的应用汇总表用于存储根据预设的派生计算关系将事实表中的数据转换后的数据。本实施方式中根据需要从事实表生成应用汇总表的具体方式包括：\n[0072] 根据需要，预设派生计算关系，根据派生计算关系生成派生维度表；所述的派生计算关系是指派生维度表与维度表之间的计算关系；\n[0073] 将派生计算公式与事实表中的维度ID关联，并根据派生计算公式对事实表中的数据进行转换，生成应用汇总表。\n[0074] 其中，所述的派生计算关系包括加、减和乘的运算关系。根据派生维度表与原始维度表（步骤S22中生成的维度表）之间的计算关系将事实表中的数据进行转换时，为了提高计算效率，将所述的计算关系转换为笛卡尔积的运算关系。\n[0075] 本实施方式中应用汇总表的生成依赖于预设的派生计算关系，根据该派生计算关系生成对应的派生维度表，在派生计算关系设置时，支持“加”、“减”和“乘”的运算。考虑计算效率，需要将运算转换为笛卡尔集运算，派生维“统计区划”部分运算逻辑转换为笛卡尔积示例参见图7。本实施方式中从事实表生成应用汇总表的伪代码为：\n[0076] INSERT INTO[应用汇总表]（”派生维”,”度量”）\n[0077] SELECT DIMT.”派生维”，SUM（FACT.”度量”*DIMT.”系数”）\n[0078] FROM[事实表]FACT\n[0079] INNER JOIN[派生维转换表]DIMT ON DIMT.”原始维”=FACT.”原始维”[0080] Group By DIMT.”派生维”。\n[0081] 对于上述伪代码，[]内为表名标识，在开发过程中使用实际表名替换，()内为表字段标识，在开发过程中使用实际表的实际字段替换。具体的INSERT INTO[应用汇总表]表示将数据插入到应用汇总表中，[应用汇总表]指应用汇总表的表名，在伪代码中为“应用汇总表表名”的标识，在开发代码中根据实际的“应用汇总表表名”进行替换。（”派生维”,”度量”）指应用汇总表的属性字段（主要包括派生维ID字段和度量字段），在伪代码中为派生维字段和度量字段的标识，在开发代码中根据实际的“应用汇总表”的表字段名称进行替换。\nSELECT表示查询哪些字段，作为插入应用汇总表的维度和度量；FROM表示从事实表和派生维转换表中查询数据；INNER JOIN通过派生维对应的原始维度ID与事实表的原始维度ID相关联。Group By表示分组的级次，按派生维分组。上述伪代码的编写对于本领域人员来说是属于现有技术，可以根据需要进行调整。\n[0082] 上述步骤S21-S24的数据处理步骤中，在没有明确数据如何利用之前，可以不执行步骤S22、S23、S24，在明确数据如何利用之后，根据需要再生成维度表、事实表和应用汇总表；当然，在数据利用需求发生变化时，步骤S22、S23、S24需要重新执行。通过本发明的方法及系统进行数据处理具有以下效果：\n[0083] 1）通过规范的数据处理流程提高数据质量。数据依次进入主题表、维度表、事实表和应用汇总表，在转换规则不明确时，将数据存放在主题表中，数据没有被刻意地转换，保证了数据的原汁原味。\n[0084] 在维度表和事实表的基础上增加了主题表、派生维和应用汇总表概念，明确每类数据表的用途，将数据先放入主题表，数据转换工作推迟到事实表和应用汇总表生成之前。\n[0085] 2）处理后的数据具备较高实用性。进入应用汇总表的数据完全按照业务需要来生成，符合统计分析的需要。通过引入派生维定义，可以灵活设置“加”、“减”和“乘”的运算关系，通过转换为笛卡尔集运算极大地提高了转换效率，将业务人员产生的操作数据快速转换为领导需要的统计分析数据，让数据变得更有价值。\n[0086] 3）数据能够被重复利用。数据仓库的建设以管理主题表为核心，而不仅仅是以生成多维立方体为目的。在分析需求发生变化时，不需要重新加载原始数据，维度表、事实表和应用汇总表都可以依据主题表重新生成。\n[0087] 为了更好的理解本发明，下面结合具体的实施例对本发明进行进一步说明。\n[0088] 实施例\n[0089] 该实施例中的原始数据为江苏省的政府数据，根据需要从众多的政府数据中提取南京市、无锡市、徐州市、常州市和苏州市五个地级市2013的合计“指标金额”和“支出金额”，以及上述五个地级市中东部地区的“指标金额”和“支出金额”，以及特殊口径的“指标金额”和“支出金额”。\n[0090] 上述的“特殊口径”和“地市合计”、“东部地区”一样，都是指一种统计分析口径，只是一种口径标识。“特殊口径”主要用于不能归类于正常分组的数据分析口径标识。口径标识的方式是多样的，可以根据需要设置不同的口径标识。“指标金额”指某个区划（如南京市）、某个年度（如2013年）可以进行财政支出的金额，相当于指标额度。“支出金额”指某个区划（如南京市）、某个年度（如2013年）实际发生的财政支出的金额、依据指标额度进行支出。\n[0091] 第一步，首先构建一主题表，将江苏省的政府数据存储到主题表中。由于最终需要获取的数据是五个地级市的相关数据，需要建立区划维度表，因此，在主题表中需要记录下每个区划的维度代码和名称。需要说明的是，主题表数据是最完整的，在生成主题表数据时，维度表数据和非维度表数据（如金额数据）都会生成。事实表数据再根据主题表数据生成。\n[0092] 第二步，根据主题表中区划的维度代码和名称生成维度表，并在维度表中存储需要的南京市、无锡市、徐州市、常州市和苏州市五个区划维度的维度代码和名称，并生成每个区划维度的维度ID，如图6所示。\n[0093] 第三步，将主题表中的维度代码和维度表中的维度代码关联，分别得到南京市、无锡市、徐州市、常州市和苏州市的维度ID，并将得到的维度ID存储到事实表中，同时，将主题表中对应维度ID下的“指标金额”数据和“支出金额”数据存储到事实表中，如图7中所示。\n[0094] 第四步，根据需要，预设派生计算关系。具体的中需要统计的是上述五个地级市的合计“指标金额”和“支出金额”，以及上述五个地级市中东部地区的“指标金额”和“支出金额”，以及特殊口径的“指标金额”和“支出金额”，因此，派生计算公式设置为“3201南京市+\n3202无锡市+3203徐州市+3204常州市+3205苏州市”、“3201南京市+3203徐州市+3204常州市”、“3201南京市+3205苏州市”，并根据上述计算公式生成派生维度表，如图8所示，之后将上述计算关系转换为如图9所示的笛卡尔积关系表。最后关联派生维度表和事实表，通过伪代码的方式生成应用汇总表，得到需要的数据，如图10中所示，得到的五个地区的合计“指标金额”和“支出金额”分别为790和700，东部地区的“指标金额”和“支出金额”分别为470和\n410，特殊口径的“指标金额”和“支出金额”分别为220和190。\n[0095] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。