[文档]基于Hadoop 平台的数据分析方案的设计应用

基于Hadoop 平台的数据分析方案的设计应用

姜文，辛阳，陈林顺

摘要：面对互联网上的海量数据，单台主机已无法满足其存储和计算要求，分布式存储和分布式计算的应用成为必然的趋势。其中Hadoop 是应用较多的分布式存储和计算框架之一。本文在该平台下，通过对国内某搜索引擎两个月内的上千万条用户搜索日志进行数据统计分析，给出相应Map/Reduce 程序的设计思路和实例，并提出Map/Reduce 分布式程序的部分设计和性能优化方法，实验结果表明，本文提出的这些方法能简化Map/Reduce 程序设计、有效提高程序性能。

关键词：分布式计算；Map/Reduce；文本处理；数据分析

temp_12042716011861.pdf