基于Hadoop的物流车辆运输监控数据管理研究

基于Hadoop的物流车辆运输监控数据管理研究

大连海事大学 胡淼

本文基于原有的一个物流车辆监控管理系统进行研究。使用全新的Hadoop集群技术来替代原有的传统数据库方式对数据进行管理。在现有的条件下搭建了一个含有3个节点的集群环境,考虑监控数据的特性,在Hadoop基础上选用了支持实时读写的分布式数据库系统HBase,重新对监控数据的数据格式进行了设计。并采用了Hadoop强大的数据并行处理编程模型MapReduce对监控数据进行分析处理。将Hadoop与传统的物流车辆运输监控系统结合起来,实现原有的监控管理系统应有的功能,并能对物流车辆运输监控数据进行更高效的管理。最后通过一系列的测试比较验证采用基于Hadoop的物流车辆运输监控数据管理能够更好的满足需求。

基于Hadoop的物流车辆运输监控数据管理研究

时间： 2024-07-29 00:55:19

基于Hadoop的物流车辆运输监控数据管理研究的相关文章

基于Hadoop 的校园云存储系统的研究

基于Hadoop 的校园云存储系统的研究 高新成, 王莉利 针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点.通过对Hadoop 框架和MapReduce 编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop 框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop 的校园云存储系统. 关键词-Hadoop; MapReduce; 云计算; 分布式计算; 存储模型 temp_1210021608512

基于Hadoop平台的视觉数据聚类研究与实现

基于Hadoop平台的视觉数据聚类研究与实现 西安电子科技大学 李林 Hadoop是解决大数据存储和分析问题的分布式模型.聚类算法能通过聚类生成码书,对视觉数据进行特征表达.如何将聚类算法架构在分布式模型上完成对大规模数据的聚类是科研和生产中的重要问题.针对大规模视觉数据聚类问题,本文设计并实现了基于Hadoop模型的视觉数据聚类算法,提高了视觉数据聚类的效率. 本文首先介绍了视觉特征,分析了在视觉信息聚类生成码书过程中存在的维数灾难问题.然后,本文详细分析Hadoop分布式模型,设计并实现了基

基于Hadoop的分布式服务注册中心研究和实现

基于Hadoop的分布式服务注册中心研究和实现 上海交通大学  杨柳 在分析了Web服务注册中心和云计算平台的基础上,本文提出了一种建立在云上的分布式服务注册中心的应用模型,称为HDSR (Hadoop-based Distributed Service Registry),它采用了Hadoop云平台来实现.该模型既可以支持基于服务行为的服务发现工作,也可以支持基于服务质量的服务发现工作.本文重点研究了服务数据的分布式存储与并行查询在Hadoop平台上的实现.在HDSR中,Hadoop分布式文件

基于Hadoop的云计算试验平台搭建研究

基于Hadoop的云计算试验平台搭建研究 张岩 郭松 赵国海 Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架.它是一种可靠.高效.可伸缩的云平台,很适合在实验室环境下进行模拟测试.以Hadoop为基础,借助虚拟机VMware以及Linux.ubuntu.Hadoop.java-jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程.在设计实例中详细的论述了虚拟机.java.Hadoop等软件的安装.设置.测试过程.实现了在实验室环境

基于Hadoop的智能电网监控系统的设计与实现

基于Hadoop的智能电网监控系统的设计与实现 杜旭 刘森 颜璟仪 科技创新与应用 2014年17期 基于Hadoop的智能电网监控系统的设计与实现

基于Hadoop平台的TFIDF算法并行化研究

基于Hadoop平台的TFIDF算法并行化研究 王静宇 赵伟燕 计算机工程与科学 2014年06期 基于Hadoop平台的TFIDF算法并行化研究

基于Hadoop平台的随机森林算法研究及图像分类系统实现

基于Hadoop平台的随机森林算法研究及图像分类系统实现 厦门大学 梁世磊 本文结合Hadoop开源分布式计算平台,研究图像处理过程的并行化以及利用MapReduce并行计算模型对随机森林算法进行了分布式并行设计以提高对大规模图像分类的效率.首先,本文介绍了Hadoop平台,主要包括HDFS文件系统以及MapReduce框架:接着,分析了图像分类的关键技术,总结了图像分类中常用到的一些特征,重点介绍SIFT特征和BagofVisual Words特征代表的实现过程,并阐述了几类重要的模式分类方法

基于Hadoop的遥感数字图像处理方法研究

基于Hadoop的遥感数字图像处理方法研究 东北师范大学   周涛 本文基于Hadoop云计算系统,主要利用并行编程框架MapReduce实现遥感数字图像的增强处理以及对增强后图像进行聚类,并与PC串行处理进行比较研究.针对遥感数字图像的整体亮度偏低.目视效果较差的特点,传统的图像增强方法在遥感数字图像上的处理无法达到人眼舒适的目视判读的效果,以及影响后续处理的问题,本文在无损增强方法的基础上进行了改进,使得原始图像的有效图像区域的无效像素点能够参与增强,实验结果表明该方法达到了很好的目视效果.

基于Hadoop的云移动信息服务模型研究

基于Hadoop的云移动信息服务模型研究 马林山,赵庆峰,肖新国 在分析开源平台Hadoop的相关技术的基础上,提出了基于该平台的移动信息服务模型,并详细介绍了模型的各个构建组成部分.系统的功能设计.经测试,效果良好.实用性较强. 关键词:云计算:Hadoop:HadoopDB:移动阅读:元数据:模型 基于Hadoop的云移动信息服务模型研究