基于Hadoop云平台的水利普查数据挖掘系统的设计和实现

基于Hadoop云平台的水利普查数据挖掘系统的设计和实现

樊龙 万定生 顾昕辰

针对水利普查数据量大、属性维度多等特点,论文通过探讨和分析Hadoop的组成和运行机制,提出了一种基于Hadoop云平台的水利普查数据挖掘系统,介绍了系统的设计思想及架构,详细阐述系统内各个模块的功能作用。该系统利用Hadoop云平台实现了一种改进后的并行关联规则算法,既充分利用了Hadoop平台并行处理数据的能力,又降低了开发所需的成本。通过进行单机对比测试和集群测试,证明了系统具有更好的可用性和较高的挖掘效率。

基于Hadoop云平台的水利普查数据挖掘系统的设计和实现

时间： 2024-11-05 18:42:25

基于Hadoop云平台的水利普查数据挖掘系统的设计和实现的相关文章

[文档]基于Hadoop／Hive的web日志分析系统的设计

基于Hadoop/Hive的web日志分析系统的设计 刘永增,张晓景,李先毅 利用Hadoop.Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度.通过与单机实验的对比,证明系统是有效的和有价值的. 关键词:web日志:云计算:Hadoop:Hive [下载地址]http://bbs.chinacloud.cn/showtopic-12968.aspx

基于Hadoop/hive架构的网络身份识别系统的设计与实现

基于Hadoop/hive架构的网络身份识别系统的设计与实现 南京邮电大学  付倩文 本文在实际系统开发的基础上,综述了一种基于Hadoop/hive架构的网络身份识别系统设计与实现的开发方案.将各个数据源的原始数据利用MapReduce进行层层清洗后,装载入一个新建的基于事件的数据仓库.随后,利用HiveQL语言,在专业工作流控制工具的控制下,根据用户要求完成数据的分析处理工作.最后,将数据分析结果展示给用户.该系统的功能已经部分投入使用,经过实际验证,其各项性能指标均达到用户要求,有很高的实

基于Hadoop云计算平台的图像分类与标注

基于Hadoop云计算平台的图像分类与标注 陆寄远 黄承慧 侯昉 李斌 为有效处理并利用互联网海量的图像和视频数据,提出了一种基于Hadoop云平台的图像分类和标注解决方案.针对如何高效地进行训练集提取这一重要问题,搭建了基于云计算的图像抓取平台,利用互联网的图像资源作为原始数据集,为提取训练集图像提供足够的数据;实现了基于概率潜在语义分析模型的训练集图像提取功能,对原始数据集进行基于主题的聚类,帮助用户快速选取训练集图像;加入了SVM分类模型,利用提取出来的训练集对未标注图像进行分类标注,实现

基于Hadoop云存储系统在设计院的应用研究

基于Hadoop云存储系统在设计院的应用研究 黄滨 徐勇 吕岩 近年来,三维设计.协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求.本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于 Hadoop 构建的云存储系统模型,并应用于数据备份.归档及数据共享等领域,满足了设计院对海量数据存储.数据共享和数据挖掘等要求. 关键词-设计院:云计算:云存储:Hadoop:海量数据 temp_1211210942558

Hadoop云平台下的并行化图像处理实现

Hadoop 云平台下的并行化图像处理实现 张良将,宦飞,王杨德 近年来,云计算在IT 行业掀起了新一轮技术革新浪潮.云计算是一种新兴的计算模型,它是并行计算.分布式计算.网格计算的综合发展,以简单.透明服务的形式提供无限制的计算资源.Hadoop 实现的开源云平台提供了并行计算模型MapReduce.分布式文件系统HDFS 和分布式数据库HBase 等.随着数字图像数据量不断增长,单机模式的图像处理已逐渐不能满足用户需求.文中提出了利用Hadoop 云平台实现海量图像的并行化处理,设计了基于M

华为率先发布基于电信云平台的核心网战略

全球领先的信息与通信解决方案供应商华为,近日发布最新核心网战略,在其当前统一的ATCA平台和领先的电信级中间件的基础上,通过引入先进的"电信云计算"技术,实现核心网产品和解决方案到电信云平台的迁移,实现CT(Communication Technologies)和IT(Information Technologies)的全面融合. 话音核心网还将存在相当长的时间,单纯的话音通信必将演变为多媒体通信.面对日益激烈的竞争,传统电信运营商需要持续地保持低成本竞争优势才能胜出,电信云平台技术能

软件工程-基于教育云平台的高校学生能力评估方法的研究与实现

问题描述 基于教育云平台的高校学生能力评估方法的研究与实现 评估方法需要使用CMMI--CMMI的基本知识掌握了一些-但是毫无头绪-望各位大神求助 解决方案 http://www.zhihu.com/question/37980592

基于Google云平台的iOS游戏社区

基于Google云平台的iOS游戏社区 大连理工大学  丁静 本文研发的工作是利用Google的云平台开发在iOS上运行的游戏社交社区.该社区使用了 C/S模式进行开发,服务器端部署在GAE上,开发语言为Java.客户端是在cocos2d框架下进行开发的,Cocos2d是一个开源的用于构建2D游戏的引擎,在iOS平台上,它集成了 Box2d和Chipmunk两个物理引擎.这样,可以集成在cocos2d开发的单机游戏中.通过该社区,用户可以存储游戏的相关数据,可以添加好友,进行实时聊天,可以查看好

基于AWS云平台的高可用应用设计

基于AWS云平台的高可用应用设计 方国伟 云计算在给架构师带来了许多新的设计挑战的时候,也给带来了许多新的设计理念和可用的服务.如何在设计应用的时候充分利用云平台的各种特点是基于云平台设计的一个重要因素.在这个演讲中,我们将以亚马逊AWS云平台为例,讨论如何设计一个高可用应用.我们先会对AWS的服务进行高可用性的分类,并从高可用角度对典型服务进行介绍,然后依次讨论高可用设计的5大常见设计原则,并结合AWS的相关服务依次进行架构设计分析. 基于AWS云平台的高可用应用设计