[文档]基于Hadoop／Hive的web日志分析系统的设计

基于Hadoop 平台的数据分析方案的设计应用 姜文,辛阳,陈林顺 摘要:面对互联网上的海量数据,单台主机已无法满足其存储和计算要求,分布式存储和分布式计算的应用成为必然的趋势.其中Hadoop 是应用较多的分布式存储和计算框架之一.本文在该平台下,通过对国内某搜索引擎两个月内的上千万条用户搜索日志进行数据统计分析,给出相应Map/Reduce 程序的设计思路和实例,并提出Map/Reduce 分布式程序的部分设计和性能优化方法,实验结果表明,本文提出的这些方法能简化Map/Reduce 程序设

基于Hadoop平台的并行数据挖掘算法工具箱与数据挖掘云 [下载地址]http://bbs.chinacloud.cn/showtopic-12728.aspx

基于Hadoop/hive架构的网络身份识别系统的设计与实现 南京邮电大学  付倩文 本文在实际系统开发的基础上,综述了一种基于Hadoop/hive架构的网络身份识别系统设计与实现的开发方案.将各个数据源的原始数据利用MapReduce进行层层清洗后,装载入一个新建的基于事件的数据仓库.随后,利用HiveQL语言,在专业工作流控制工具的控制下,根据用户要求完成数据的分析处理工作.最后,将数据分析结果展示给用户.该系统的功能已经部分投入使用,经过实际验证,其各项性能指标均达到用户要求,有很高的实

原文:在线文档预览方案-office web apps 最近在做项目时,要在手机端实现在线文档预览的功能.于是百度了一下实现方案,大致是将文档转换成pdf,然后在通过插件实现预览.这些方案没有具体实现代码,也没有在线预览的地址,再加上项目时间紧迫.只能考虑其它方案,这时微软的office web apps方案映入眼帘,于是和同事一起用一台PC机折腾了几天终于完成了部署,希望通过本篇记录下安装过程和遇到的坑.目前使用该方案的有 明道 微软,我部署的服务地址:http://myscloud.vicp

问题描述 iframe标签显示PDF文档问题(为什么在web容器中只有框没有内容,在一般情况下就可以正常显示) 问题是这样的,我在电脑中新建一个HTML文件用iframe显示PDF文件时候,可以正常显示,但是一旦将其导入到tomcat容器中的WEB项目中时,从WEB项目启动后,就只显示框框,没有内容 <%@ page language="java" import="java.util.*" pageEncoding="utf-8"%>

这是一个课程设计的文档,源码及文档数据库我都修改过了,貌似这里复制过来的时候图片不能贴出,下载地址:http://download.csdn.net/detail/sdksdk0/9361973   数据库原理课程设计说明书              基于Web在线考试系统的设计与实现             目  录   1 课题背景与意义.3 1.1课题开发背景.3 1.2 课题开发意义.3 2 系统需求分析.4 2.1 项目要求.4 2.2 开发方案.5 2.3开发环境.5 3 总体开发.

问题描述 基于web的问卷调查系统的设计与实现 基于web的问卷调查系统的设计与实现,因为毕业设计是这个,然而自己只有一份模板,觉得模板的功能太少,如果自己想要添加功能该怎么做啊,可是我们还没学到怎么做,求大神指点啊 解决方案 什么模板太少了,一个风格的不就行了 解决方案二: 先看看这个模板后端是基于什么平台实现的

问题描述 开发一个web日志挖掘系统,主要是实现对web日志数据的统计分析,算法利用聚类算法.主要实现的功能:1.对web日志数据预处理,数据清洗.2.对预处理过的数据进行聚类分析.3.实现对用户个性化推荐.请问各位大虾用那个开发软件比较好,都要用到那些知识? 解决方案 解决方案二:呵呵WEB日志挖掘系统???没听说过能描述清楚点吗???有什么用

基于Hadoop的汽车后市场商品数据平台设计 华南理工大学 李石清 首先对Hadoop及相关技术进行研究,分析了Hadoop与云计算的联系,并着重介绍了Hadoop的HDFS分布式系统和MapReduce编程架构.对HDFS的特性.数据块抽象技术.和HDFS的Master-Slave(管理者-工作者)模式进行深入研究,对MapReduce的特性和架构模式也进行了相应的研究.另外根据商品数据非结构化的特点,还着重分析了MongoDB非结构化数据库的特性和工作方式.随后根据项目的详细需求分析结果和H