基于Hadoop的推荐系统研究与应用

基于Hadoop的推荐系统研究与应用

湖北工业大学 杨庄

为了更好的解决推荐系统发展中存在的这些问题，提高协同过滤算法的准确性，本文以解决这些问题为目标，对以下三个方面进行了讨论与研究：①重点研究了协同过滤算法在推荐系统中的应用，提出了数据稀疏度导致的协同过滤推荐准确度不高问题，提出了混合推荐算 Hadoop； 协同过滤； 混合推荐； 数据稀疏度法的概念。②本文思考利用云计算平台来解决传统协同过滤算法在实施过程中遇到的可扩展性及实时性问题，采用Apache的开源项目Hadoop作为算法的开发平台。在充分查阅相关文献了解Hadoop的技术之后，本文重点分析了制约Hadoop性能的关键问题，提出了相应的改进方案SHadoop，提高了Hadoop在大规模数据上的处理能力，充分体现了云计算与推荐系统结合的优势。③本文完成了一个电影推荐系统的原型，并提出改进的推荐系统的评价指标，对常用的协同过滤算法与本文提出的混合推荐算法进行对比实验。

基于Hadoop的推荐系统研究与应用

时间： 2024-09-28 16:31:40

基于Hadoop的推荐系统研究与应用的相关文章

基于hadoop的推荐系统设计与实现

基于hadoop的推荐系统设计与实现 电子科技大学  唐真 主要工作内容如下:1.通过对Hadoop运行机制和MapReduce编程原理的研究,结合对推荐系统与推荐算法,特别是对以物质扩散推荐算法和热传导推荐算法为代表的网络推荐算法的深入分析,设计和实现基于Hadoop平台的网络推荐算法MapReduce化编程实现方案,将该算法复杂的计算任务分解为一系列MapReduce作业流程,以便于在Hadoop和云计算平台上进行分布式并行化处理,通过一系列实验测试证明算法在集群上具有良好的并行性和可扩展性

基于云计算的知识服务推荐系统研究

基于云计算的知识服务推荐系统研究 河南师范大学  种大双 云计算平台为推荐系统提供了天然优势.首先,云中的数据存储是集群化的,存储管理是虚拟化的,理论上为推荐系统提供了无容量限制的数据存储能力和高效的数据吞吐能力,推荐系统因此可以拥有能快速获取.海量的训练数据,得以提供优质的推荐结果;其次,云的分布式计算能力和物理资源虚拟化为推荐系统提供了较高的响应能力,这有助于为大量用户提供个性化推荐. 通过对知识服务.推荐系统.云计算相关技术的阐述,构建了个性化推荐系统模型,构建了云环境下的知识库,构建了用

基于Hadoop的微博热点话题挖掘系统研究与设计

基于Hadoop的微博热点话题挖掘系统研究与设计 陆瑶  李振婷 本文首先介绍了Web数据挖掘理论.Hadoop技术理论及国内外微博热点话题挖掘领域研究现状.在此基础上对传统微博热点话题挖掘方法进行综合及改进,旨在研究与设计基于Hadoop的微博热点话题挖掘系统. 关键词:Hadoop:数据挖掘:微博:热点话题 基于Hadoop的微博热点话题挖掘系统研究与设计

全媒体时代基于Hadoop的电视台视频转码系统研究

全媒体时代基于Hadoop的电视台视频转码系统研究 吴锋 本文就全媒体时代电视台对视频转码的需求,详细讨论了基于Hadoop云计算平台的快速视频转码系统的实现原理以及该系统中的创新点. 全媒体时代基于Hadoop的电视台视频转码系统研究

基于云计算的图书智能推荐系统研究

基于云计算的图书智能推荐系统研究 李楚贞,吴新玲 简要介绍了图书智能推荐系统与云计算相关概念和技术,针对目前传统图书智能推荐系统因海量数据带来的存储及推荐速度问题提出了一个基于云计算环境下的图书智能推荐系统,并对其体系架构和推荐过程进行了详细的阐述.  关键词:图书智能推荐系统:云计算:架构:关联规则 基于云计算的图书智能推荐系统研究

基于Hadoop大数据分析应用场景与实战

为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了Hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台. 一.Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合.它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域. 目前主流的三大分布式计算系统分别为:Hadoop.Spark和Strom: Hadoop当前大数据管理标准之一,运用在当前很多商业应用系统.可以轻松地集成结构化.半结构化甚至非结

基于Hadoop用户行为分析系统设计与实现

基于Hadoop用户行为分析系统设计与实现 北京交通大学  郝增勇 本课题在大数据背景下,针对不能全面准确分析网络用户行为的问题,利用网络安全开发包Libnids和分布式平台Hadoop关键技术,重点研究设计并开发出基于Hadoop的用户行为分析系统.本系统实现了海量数据包抓取和分布式存储.TCP重组和应用层HTTP行为分析等功能,不仅有助于服务提供者根据用户行为特征提供更好的推荐服务,而且为网络相关部门对网络舆论进行合理的监控奠定有效的技术支撑.本文采用了基于Hadoop的用户行为分析方法,首

基于Hadoop的医院数据中心系统设计与实现

基于Hadoop的医院数据中心系统设计与实现 浙江大学  张洪磊 本论文首先完成医院数据中心系统的开发,然后以电子病历系统为例,实现了结构化数据在数据中心的高速读取和存储:以PACS系统为例,实现了非结构化数据在数据中心的高速存储和读取:在机器学习平台上实现了推荐引擎算法.以Hadoop分布式框架为基础构建医院的数据中心系统具有实施成本低.数据存储安全可靠.系统易扩展.数据读写速度快.计算能力强等特点.数据中心系统与现有医院临床信息系统可实现无缝集成,为医院提供结构化数据和非结构化数据的高速存储

基于Hadoop的汽车后市场商品数据平台设计

基于Hadoop的汽车后市场商品数据平台设计 华南理工大学 李石清 首先对Hadoop及相关技术进行研究,分析了Hadoop与云计算的联系,并着重介绍了Hadoop的HDFS分布式系统和MapReduce编程架构.对HDFS的特性.数据块抽象技术.和HDFS的Master-Slave(管理者-工作者)模式进行深入研究,对MapReduce的特性和架构模式也进行了相应的研究.另外根据商品数据非结构化的特点,还着重分析了MongoDB非结构化数据库的特性和工作方式.随后根据项目的详细需求分析结果和H