基于Hadoop的电子商务推荐系统的设计与实现

基于Hadoop的云安全存储系统的设计与实现 广东工业大学  蒋向阳 云计算是分布式计算.并行计算和网格计算的发展,给人类生活.生产方式和商业模式带来根本性改变,是当前全社会关注的热点之一.云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用.网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显出来,安全问题已成为阻碍云计算和云存

基于Hadoop的视频摘要的设计与实现 华南理工大学 彭华聪 本文意图利用云计算技术将目前主流的基于运动过程的动态视频摘要技术由单机提取模式改造成分布式模式.从而在面对数据膨胀时,仅仅通过加入廉价的计算节点来提高视频摘要的提取速率,使得视频摘要技术能更好的投入实际生产中.首先,对云计算技术和视频摘要技术进行了大量的研究.选取了合适的开源云计算平台Hadoop分布式系统,并对Hadoop分布式系统与处理视频摘要的相关机制进行了分析.在视频摘要技术方面,概述了视频摘要技术的总体状况,详细介绍了基于运

基于Hadoop的汽车后市场商品数据平台设计 华南理工大学 李石清 首先对Hadoop及相关技术进行研究,分析了Hadoop与云计算的联系,并着重介绍了Hadoop的HDFS分布式系统和MapReduce编程架构.对HDFS的特性.数据块抽象技术.和HDFS的Master-Slave(管理者-工作者)模式进行深入研究,对MapReduce的特性和架构模式也进行了相应的研究.另外根据商品数据非结构化的特点,还着重分析了MongoDB非结构化数据库的特性和工作方式.随后根据项目的详细需求分析结果和H

基于Hadoop的海量小型XML数据文件处理技术的设计和实现 西安电子科技大学 孔鑫 本文重点研究了如下内容:1)设计了专门针对海量小数据XML文件进行处理的分布式海量小型XML数据处理系统(Distributed Massive SmallXML files system,DMSX),该系统的主要思想就是将海量小数据XML文件在Hadoop系统中高效的进行处理.2)该系统通过运用生产者-消费模式,多线程并发技术,多级缓存技术等,来提高系统的整体处理能力.3)该系统通过对合并后的文件进行分段存储

基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现 南京理工大学  李元洪 本文在介绍云计算的基本概念.体系结构及其应用发展的基础上,分析了云计算模型的实现框架和容错机制.针对云计算Hadoop开源平台,详细分析了其中的分布式文件系统(HDFS, Hadoop Distributed File System)和MapReduce计算模型,并对Hadoop平台下的作业调度技术.FIFO.公平队列和计算能力作业调度算法做了深入的研究. 对Hadoop现有的调度算法在异构环境下的计算性

基于Hadoop/Hive的web日志分析系统的设计 刘永增,张晓景,李先毅 利用Hadoop.Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度.通过与单机实验的对比,证明系统是有效的和有价值的. 关键词:web日志:云计算:Hadoop:Hive [下载地址]http://bbs.chinacloud.cn/showtopic-12968.aspx

基于Hadoop 平台的数据分析方案的设计应用 姜文,辛阳,陈林顺 摘要:面对互联网上的海量数据,单台主机已无法满足其存储和计算要求,分布式存储和分布式计算的应用成为必然的趋势.其中Hadoop 是应用较多的分布式存储和计算框架之一.本文在该平台下,通过对国内某搜索引擎两个月内的上千万条用户搜索日志进行数据统计分析,给出相应Map/Reduce 程序的设计思路和实例,并提出Map/Reduce 分布式程序的部分设计和性能优化方法,实验结果表明,本文提出的这些方法能简化Map/Reduce 程序设

基于Hadoop的多星表存储与交叉证认的设计与实现 山东大学 张夏旭 面对海量天文数据,如何高效的存储和对多星表进行交叉证认显得尤为重要.海量天文数据处理必须要使用分布式.并行计算等大数据处理技术才能有效解决.本文对利用Hadoop处理海量天文数据进行了研究,主要工作分为以下三部分: 1.利用Hadoop的HBase组件,构建对不同星表数据的有效存储,提高集群磁盘利用率和星表信息查询效率. 2.在对HEALPix和HTM两种伪二维球面索引方法进行研究的基础上,结合Hadoop实现多个星表之间高效

基于Hadoop的视频监控系统的设计与实现 内蒙古大学  梁师师 随着平安中国项目的深入,公众对视频监控的需求越来越强烈.摄像头等视频采集设备的清晰度不断提高,监控器的个数不断增加,对视频处理的需求不断提高,这与传统的网络视频监控系统架构发生矛盾.而日益兴起的云计算为视频监控开辟了一条新的道路,云视频监控系统满足了大数据计算.存储的要求,解决了传统的视频监控系统的缺陷.本文的工作正是在云计算技术基础上搭建大规模高清视频监控系统.本文首先简单介绍视频监控技术的发展过程和目前视频监控技术遇到的瓶颈问