基于Hadoop的汽车后市场商品数据平台设计

基于Hadoop的汽车后市场商品数据平台设计

华南理工大学 李石清

首先对Hadoop及相关技术进行研究，分析了Hadoop与云计算的联系，并着重介绍了Hadoop的HDFS分布式系统和MapReduce编程架构。对HDFS的特性、数据块抽象技术、和HDFS的Master-Slave（管理者-工作者）模式进行深入研究，对MapReduce的特性和架构模式也进行了相应的研究。另外根据商品数据非结构化的特点，还着重分析了MongoDB非结构化数据库的特性和工作方式。随后根据项目的详细需求分析结果和Hadoop相关技术的研究结果，对基于Hadoop的汽车后市场商品数据平台进行了设计和实现。主要包括数据服务层、业务服务层、API服务层和用户层的设计。为了提高商品数据推荐系统的性能，本次设计中在数据服务层中的商品关系网络系统中加入了算法池。可以通过平台的业务内容智能判断需要选择的算法，最终满足客户的业务定制需求。随后对汽车后市场商品数据平台中使用到的关键数据分析原理进行了阐述：对车主关键属性进行分析，对客户对象分析的工作原理与工作方式，对客户生命周期挖掘分析的原理和工作场景，基于商品关联规则的推荐策略的原理架构均进行了详细的分析。最终通过平台的运行测试和分析，验证了课题的可行性和正确性。本课题研究采用科学研究与具体实际业务相结合的研究方法，利用前沿的分布式系统技术和大数据分析技术很好地满足了项目需求。并且根据汽车后市场的特殊性，提供了个性化业务定制接口，为平台的后期维护和拓展留下了很好的空间。

基于Hadoop的汽车后市场商品数据平台设计