基于hadoop的推荐系统设计与实现

基于hadoop的推荐系统设计与实现

电子科技大学  唐真

主要工作内容如下：1.通过对Hadoop运行机制和MapReduce编程原理的研究，结合对推荐系统与推荐算法，特别是对以物质扩散推荐算法和热传导推荐算法为代表的网络推荐算法的深入分析，设计和实现基于Hadoop平台的网络推荐算法MapReduce化编程实现方案，将该算法复杂的计算任务分解为一系列MapReduce作业流程，以便于在Hadoop和云计算平台上进行分布式并行化处理，通过一系列实验测试证明算法在集群上具有良好的并行性和可扩展性。2.在网络推荐算法的MapReduce化方案的基础上，使用combiner函数、sequence file输入输出类型等优化方法，分析数据集的长尾分布数据特征和算法计算过程中的实现细节，提出通过在资源分配矩阵的计算过程中利用Pair和Stripe方案以及对极度活跃用户进行剪切的优化设计思想，有效地解决算法的性能瓶颈问题，改进基于Hadoop的网络推荐算法的MapReduce方案，并通过实验测试证明改进方法可以进一步提高算法的效率。3.研究了包括Hadoop、Mahout、Sqoop、Ganglia等一系列相关开源软件的安装、部署和使用方法，结合本文设计的网络推荐算法的MapReduce化方案，经过系统需求、系统框架和流程的设计、系统的实现和系统的测试几个步骤，在多台计算机组成的集群环境下设计、实现和部署了基于Hadoop的推荐原型系统。

基于hadoop的推荐系统设计与实现