一种随机遴选系统的公平性审查方法

1.一种随机遴选系统的公平性审查方法，其特征在于，包括以下步骤：
S1：仿真建模，对遴选系统生成的结果处理之后建立仿真模型；
S2：聚类分析，针对建立的仿真模型进行聚类分析，形成聚类结果；
S3：结果审查，对聚类结果进行泊松分布比对，审查遴选系统的公平性；所述步骤S1中，仿真模型在面向分布式存储平台Hadoop上建立，从而得到多个面向分布式文件结果；所述面向分布式文件结果为中标者ID和中标次数的对应关系；所述步骤S2中聚类分析具体为对所述面向分布式文件结果进行任务分配与结果聚类，最终形成聚类结果；所述泊松分布比对具体为将所述聚类结果的方差与对应泊松分布的方差进行比对，得出系统公平性结果。
2.根据权利要求1所述的随机遴选系统的公平性审查方法，其特征在于，所述步骤S1中包括对遴选系统生成的结果进行抽样得到样本。
3.根据权利要求2所述的随机遴选系统的公平性审查方法，其特征在于，还包括对抽样得到的所述样本进行扫描和汇总。
4.根据权利要求1所述的随机遴选系统的公平性审查方法，其特征在于，所述面向分布式文件结果在Hadoop平台上以小于64MB的文件块分布存储。
5.根据权利要求1所述的随机遴选系统的公平性审查方法，其特征在于，所述任务分配为Map操作。
6.根据权利要求1所述的随机遴选系统的公平性审查方法，其特征在于，所述结果聚类为Reduce操作。

一种随机遴选系统的公平性审查方法\n技术领域\n[0001] 本发明涉及一种随机遴选系统的公平性审查方法。\n背景技术\n[0002] 随着人类文明的快速发展，人口与资源之间的关系正变得越来越紧张，在全球范围内所形成的竞争也愈演愈烈。当竞争各方旗鼓相当、相持不下时，轮盘赌式的随机系统往往成为谈判的最终决议。然而在该种情况下，人们又将目光的焦点转向随机系统的公平性问题。\n[0003] 目前针对使用最广泛的计算机模拟的随机遴选系统，主要通过诉诸司法或公正机关，采用后台审核与现场公正相结合等方式来审查系统的公平性，具体地，公正人员首先根据当前技术标准与业内规范，对系统进行全面检测，以确定算法的随机特性及系统的可靠性；接着隔离现场进行现场检查，以认定系统随机输入及不受人工干预的公正性。\n[0004] 总体来说，通过专业的公正机构基本能够准确审查随机系统的公正性，剔除其中掺杂的人为因素。对于数据量较小，仿真环境单一以及仅有单次遴选的情况下能取得很好的效果。然而对于多次遴选，尤其当遴选次数不受限制时，通过上述审查方式不仅操作复杂，工作量大，而且未能有效保障系统的公正性。\n发明内容\n[0005] 本发明为了克服以上不足，提供了一种有效保障数据量大、遴选次数多的随机遴选系统公平性的审查方法。\n[0006] 为了解决上述技术问题，本发明的技术方案是：一种随机遴选系统的公平性审查方法，包括以下步骤：\n[0007] S1：仿真建模，对遴选系统生成的结果处理之后建立仿真模型；\n[0008] S2：聚类分析，针对建立的仿真模型进行聚类分析，形成聚类结果；\n[0009] S3：结果审查，对聚类结果进行泊松分布比对，审查遴选系统的公平性。\n[0010] 进一步的，所述步骤S1中包括对生成的结果进行抽样得到样本。\n[0011] 进一步的，还包括对抽样得到的所述样本进行扫描和汇总。\n[0012] 进一步的，所述步骤S1中，仿真模型在面向分布式存储平台Hadoop上建立，得到多个面向分布式文件结果。\n[0013] 进一步的，所述面向分布式文件结果在Hadoop平台上以小于64MB的文件块分布存储。\n[0014] 进一步的，所述面向分布式文件结果为中标者ID和中标次数的对应关系。\n[0015] 进一步的，所述步骤S2中聚类分析具体为对所述面向分布式文件结果进行任务分配与结果聚类，最终形成聚类结果。\n[0016] 进一步的，所述任务分配为Map操作。\n[0017] 进一步的，所述结果聚类为Reduce操作。\n[0018] 进一步的，所述面向泊松分布比对具体为将所述聚类结果的方差与对应泊松分布的方差进行比对，得出系统公平性结果。\n[0019] 本发明提供的随机遴选系统的公平性审查方法，首先通过仿真建模对遴选系统生成的结果处理之后建立仿真模型；接着针对建立的仿真模型进行聚类分析，形成聚类结果；\n最后对聚类结果进行面向泊松分布比对，审查遴选系统的公平性，同时采用面向分布式的存储系统Hadoop与分布式计算模式Map/Reduce，有效减少了计算量，大大提高了审查速度；\n将标准随机系统普遍遵循的泊松分布引入本方法中作为比对依据，准确可靠，有效审查了随机遴选系统的公平性。\n附图说明\n[0020] 图1是本发明随机遴选系统的公平性审查方法的流程图。\n具体实施方式\n[0021] 下面结合附图对本发明作详细描述：\n[0022] 如图1所示，本发明提供一种随机遴选系统的公平性审查方法，包括以下步骤：\n[0023] S1：仿真建模，对遴选系统生成的结果处理之后建立仿真模型，具体的，包括以下步骤：\n[0024] S11：抽取遴选系统生成的结果中的多个结果集作为样本；\n[0025] S12：对抽取的样本进行扫描和汇总；\n[0026] S13：在面向分布式存储平台——开源分布式计算软件架构(Hadoop)上建立仿真模型，得到多个面向分布式文件结果，即对每个竞标者分配一个唯一的ID，根据抽取的样本统计中标者和中标次数的对应关系，形成<竞标者ID，中标次数>式的键值对，如1号竞标者中标2次，则表示成；\n[0027] S14：将面向分布式文件结果在Hadoop平台上以小于64MB的文件块分布存储。\n[0028] 需要说明的是，Hadoop是一个能够对大量数据进行分布式处理的软件平台，随着海量数据业务越来越多，Hadoop的使用也越来越广泛。Hadoop具有高可靠性、高效、高扩展性、高容错性、低成本等优点，其中可靠性高是因为Hadoop工作过程中假设计算元素和存储会失败，因此同时维护多个工作数据副本，确保能够针对失败的节点重新分布处理，此外Hadoop按位存储和处理数据的能力进一步提高了可靠性；高效性体现在Hadoop以并行的方式工作，能够在节点之间动态地移动数据，并保证各个节点的动态平衡，通过并行处理大大提高了处理数据的速度；高扩展性是由于Hadoop在可用的计算机集簇间分配数据并完成计算任务，而这些集簇可以方便地扩展到数以千计的节点中；高容错性是由于Hadoop能够自动保存数据的多个副本，并且具有自动将失败的任务重新分配的能力；低成本是由于与其他数据集市相比，hadoop是开源的，因此软件成本大大降低。\n[0029] S2：聚类分析，针对建立的仿真模型进行聚类分析，形成聚类结果；具体的，对面向分布式文件结果采用并行编程模式的任务分配与结果聚类，最终形成聚类结果，其中任务分配为映射(Map)操作，结果聚类为化简(Reduce)操作，其中Map操作和Reduce操作通过Map/Reduce(映射/化简)系统以并行编程模式实现，以达到对问题域的结构化、到数据节点的映射、结果集的收敛与归约等目的。\n[0030] 需要说明的是，Map/Reduce(映射/化简)系统是一个最先由Google提出的分布式计算软件构架，通过定义相应的映射和化简函数来实现大数据量的分布式处理，可以用来解决大数据量的分布式计算问题，然后把计算后的结果放入文件系统或者数据库中。在Map/Reduce系统中，每一个map操作都是相对独立的，所有的map任务都是并行运行的，虽然实践中会受到数据源和中央处理器个数的影响。同样的，Map/Reduce系统用一个负责归约映射中间结果的计算节点(reducer)集合来执行reduce操作，所有带有相同秘钥的map输出会聚集到同一个reducer。虽然这个过程看上去没有串行计算来得高效，但是Map/Reduce系统能够处理一般服务器所不能处理的大数据量处理问题。大型的服务器集群，如Hadoop集群可以在几个小时内处理PB(petabyte)级数据量的排序问题。而并行处理可以提供部分容错和出错恢复的功能，当一个map操作或reduce操作失效时，整个工作就会被重新安排，从而不会影响数据处理工作的连续性。\n[0031] S3：结果审查，对聚类结果进行面向泊松分布比对，审查遴选系统的公平性，具体的，将聚类结果的方差与对应泊松分布的方差进行比对，即将S1中形成的<中标者ID，中标次数>式的键值与对应数据的方差与泊松分布的方差进行比较，若两者的偏差大于设定的阈值，则判断遴选结果掺入了人为因素，结果是不公平的，反之两者的偏差不超过设定的阈值，则判断遴选结果不存在人为因素，结果是公平的。\n[0032] 综上所述，本发明提供的随机遴选系统的公平性审查方法，首先通过仿真建模对遴选系统生成的结果处理之后建立仿真模型；接着针对建立的仿真模型进行聚类分析，形成聚类结果；最后对聚类结果进行面向泊松分布比对，审查遴选系统的公平性，同时采用面向分布式的存储系统Hadoop与分布式计算模式Map/Reduce，有效减少了计算量，大大提高了审查速度；将标准随机系统普遍遵循的泊松分布引入本方法中作为比对依据，准确可靠，有效审查了随机遴选系统的公平性。\n[0033] 虽然说明书中对本发明的实施方式进行了说明，但这些实施方式只是作为提示，不应限定本发明的保护范围。在不脱离本发明宗旨的范围内进行各种省略、置换和变更均应包含在本发明的保护范围内。