Hadoop平台上煤矿企业储备定额算法并行化研究与应用

Hadoop平台上煤矿企业储备定额算法并行化研究与应用

内蒙古科技大学  张翔
 
本文提出基于Hadoop云计算平台的备件消耗量预测系统。该系统分为数据获取模块、数据存储模块、数据预处理模块和备件消耗量预测模块四部分。其中,数据获取模块利用某煤炭集团公司的ERP系统Web Service接口来获取用户数据;数据存储模块中将数据获取模块中获取的备件数据按设计的数据格式存入本地Oracle数据库中;数据预处理模块利用VS2010开发程序将数据库中备件数据按要求进行处理,得到我们需要的数据格式的数据,通过多层次模糊综合评价法,从备件的关键性和备件所属设备的关键性两方面对备件重要性进行评价,量化备件重要性得到所需的裕度系数K;备件消耗量预测模块中对备件消耗量预测方法（概率统计分析法）进行改进,以经典矩阵相乘的经典算法为基础,利用MapReduce编程框架进行MapReduce化设计,构建MapReduce并行处理算法并在MapReduce并行编程模型上实现。实验结果表明,经过MapReduce设计的算法在处理器的可扩展性、数据的可扩展性和加速比性能这三方面的实验中具有良好的指标,算法性能表现良好。

Hadoop平台上煤矿企业储备定额算法并行化研究与应用