海量数据处理系统及方法

1.一种海量数据处理系统，其特征在于，包括：
整合单元，用于从不同数据源中获取源数据，并对所述源数据进行处理后生成与不同业务对应的统一接口的主题数据；
存储单元，用于将所述主题数据存储在分布式文件系统系统中；
分析单元，用于根据不同的任务请求，对所述分布式文件系统中存储的数据进行多节点、多任务的并行计算和分析；
展现单元，用于展现所述分析单元的计算和分析结果。
2.根据权利要求1所述的系统，其特征在于，所述源数据包括以下任意一项或多项数据：用电信息数据、分布式电源信息数据、电动汽车运营信息数据、储能信息数据、智能家居信息数据、环境信息数据。
3.根据权利要求1所述的系统，其特征在于，所述整合单元采用并行ETL方式对所述源数据进行处理。
4.根据权利要求1所述的系统，其特征在于，
所述分析单元，具体用于利用云计算技术对所述分布式文件系统中存储的数据进行多节点、多任务的并行计算和分析。
5.根据权利要求1至4任一项所述的系统，其特征在于，
所述分析单元，还用于根据所述计算和分析的结果，生成不同粒度的汇总数据；
所述系统还包括：缓存单元，用于缓存所述汇总数据；
所述展现单元，还用于从所述缓存单元中获取所述汇总数据并展现所述汇总数据。
6.一种海量数据处理方法，其特征在于，包括：
从不同数据源中获取源数据，并对所述源数据进行处理后生成与不同业务对应的统一接口的主题数据；
将所述主题数据存储在分布式文件系统系统中；
根据不同的任务请求，对所述分布式文件系统中存储的数据进行多节点、多任务的并行计算和分析；
展现所述分析单元的计算和分析结果。
7.根据权利要求6所述的方法，其特征在于，所述源数据包括以下任意一项或多项数据：用电信息数据、分布式电源信息数据、电动汽车运营信息数据、储能信息数据、智能家居信息数据、环境信息数据。
8.根据权利要求6所述的方法，其特征在于，所述对所述源数据进行处理包括：
采用并行ETL方式对所述源数据进行处理。
9.根据权利要求6所述的方法，其特征在于，所述对所述分布式文件系统中存储的数据进行多节点、多任务的并行计算和分析包括：
利用云计算技术对所述分布式文件系统中存储的数据进行多节点、多任务的并行计算和分析。
10.根据权利要求6至9任一项所述的方法，其特征在于，所述方法还包括：
根据所述计算和分析的结果，生成不同粒度的汇总数据；
缓存所述汇总数据；
展现所述汇总数据。

暂无