摘要：本申请提供一种海量数据的处理方法和装置。该方法包括：当数据的流入速度大于数据的处理速度时，确定超出处理速度的待处理数据的优先级；将待处理数据的关键数据保存至与其优先级对应的泄洪文件中，关键数据包括对待处理数据进行处理所需要的数据；当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；对关键数据进行处理，以实现对对应待处理数据的处理。本申请设备在数据量暴涨时，将无法及时处理的待处理数据的关键数据保存到与其优先级对应的泄洪文件中，以缓解设备的处理压力，避免设备崩溃。当数据量正常时，可以有选择性的触发面向不同优先级泄洪文件的恢复操作，最终确保数据的一致性，且成本低廉。

摘要：本申请提供一种海量数据的处理方法及其装置，应用于服务器端，所述方法包括接收各业务的数据需求，以及各业务对所述数据的不同调度要求信息；根据针对所述数据需求预设的合并策略及其调度要求信息，对所述各业务的数据需求进行合并打包，形成数据需求指令集；推送所述数据需求指令集至各系统，以获得与所述指令集对应的数据；存储各系统发送的数据，并调度所述数据进行对应的业务处理。本申请能够优化海量数据的处理过程，节约了计算资源和存储资源。

摘要：本发明提供一种海量数据的处理方法及装置，方法包括：计算出所有待处理数据分别对应的数值；根据所有数值中的最大值，建立数组；其中，所述数组中至少包括与所述最大值对应的数值相等的个数的存放位置，每一个存放位置对应该存放位置在所述数组中的位置序号；遍历所述所有数值，针对遍历到的每一个数值，执行如下操作：将所述当前数值存放到所述数组中与所述当前数值相等的位置序号所对应的存放位置处，并在对应的存放位置处的标识加1，其中，未存放有数值的存放位置处的标识初始值为0，其中，该标识对应的值用于表征对应存放位置处存放的数值个数。根据本方案，可以提高海量数据的处理效率。

摘要：本发明公开了一种海量数据的处理方法及装置，涉及数据业务领域，解决了现有技术中海量数据查询时效率低下等技术问题。其中，该方法包括：接收用业务元数据描述的查询请求，所述查询请求中包括查询条件；根据业务元数据与技术元数据之间的映射关系查找所述查询条件对应的技术元数据；根据所述技术元数据到数据库中查找符合查询条件的索引范围；在所述索引范围中根据查询条件确定详单数据。该方法主要用于大量数据查询。

摘要：本发明提供了一种海量数据的处理方法及处理装置，该方法包括：设置一数据文件及索引文件，数据文件包括至少一个文件数据块，每个文件数据块的长度相等；索引文件与数据文件相对应，包括各数据对象在数据文件中的地址偏移；在存入数据对象时，如果游标当前指向的文件数据块的剩余空间不够存储待存储的数据对象，则在待存储的数据对象将剩余空间填满后，数据文件向系统申请一块或多块新文件数据块，并将待存储数据对象中还未存入的剩余数据存入到新文件数据块中，并在索引文件中记录新存入数据对象的地址偏移；通过将游标指向欲读取的数据对象的地址偏移来读取数据文件中存储的数据对象。利用该技术方案，提高了对海量数据的存取效率。

摘要：暂无

摘要：本发明适用于数据处理领域，提供了一种海量数据的处理方法，所述方法包括下述步骤：A.接收请求处理的源数据，将所述源数据分块存入源数据队列；B.对所述源数据队列中的数据块进行处理，将源数据转换为目标数据；C.将所述目标数据存入目标数据队列；D.将所述目标数据队列中的数据存入数据库。本发明在海量数据的处理过程中，通过对应用处理逻辑以及数据库存储操作进行优化，提升了整个应用系统对海量数据的吞吐能力，实现简单，成本低。