基于Hadoop云计算平台的图像分类与标注

基于Hadoop云计算平台的图像分类与标注

陆寄远 黄承慧 侯昉 李斌

为有效处理并利用互联网海量的图像和视频数据,提出了一种基于Hadoop云平台的图像分类和标注解决方案.针对如何高效地进行训练集提取这一重要问题,搭建了基于云计算的图像抓取平台,利用互联网的图像资源作为原始数据集,为提取训练集图像提供足够的数据;实现了基于概率潜在语义分析模型的训练集图像提取功能,对原始数据集进行基于主题的聚类,帮助用户快速选取训练集图像;加入了SVM分类模型,利用提取出来的训练集对未标注图像进行分类标注,实现了完整的系统.实验结果表明,该方案能够满足海量图像数据分类和标注的功能和性能需求.

基于Hadoop云计算平台的图像分类与标注

时间： 2024-08-30 13:23:44

基于Hadoop云计算平台的图像分类与标注的相关文章

一种面向电子健康档案的Hadoop云计算平台实现

一种面向电子健康档案的Hadoop云计算平台实现 电子科技大学 牟磊 本文首先介绍了电子健康档案相关概念以及存在的不足和缺陷,并介绍了云计算的基本情况,以及现有的电子健康档案云平台的发展,并论述了 EHR-Cloud与传统EHR的差别.然后,介绍了Hadoop平台的关键技术:HDFS.Mapreduce.HBase和电子健康档案的数据标准. 有别于传统EHR系统,本文设计的Hadoop云平台可以整合硬件资源,解决传统 EHR 系统单机能力不足的缺点:可以利用集群服务器超强的并行计算能力,解决EH

基于Hadoop云平台的水利普查数据挖掘系统的设计和实现

基于Hadoop云平台的水利普查数据挖掘系统的设计和实现 樊龙 万定生 顾昕辰 针对水利普查数据量大.属性维度多等特点,论文通过探讨和分析Hadoop的组成和运行机制,提出了一种基于Hadoop云平台的水利普查数据挖掘系统,介绍了系统的设计思想及架构,详细阐述系统内各个模块的功能作用.该系统利用Hadoop云平台实现了一种改进后的并行关联规则算法,既充分利用了Hadoop平台并行处理数据的能力,又降低了开发所需的成本.通过进行单机对比测试和集群测试,证明了系统具有更好的可用性和较高的挖掘效率.

基于Google云计算平台的文件共享系统设计与实现

基于Google云计算平台的文件共享系统设计与实现 林清滢 冯健文 陆锡聪 文件的存储.管理以及随时读取是众多现代企业的基本要求.分析了 Google App Engine开发技术:提出了基于Google 云计算平台的文件共享系统的设计方案:通过对Google App Engine开发环境的部署,实现了文件共享系统. 基于Google云计算平台的文件共享系统设计与实现

基于Hadoop云计算智能家居信息处理平台

近年来,在物联网等具有海量数据需求的应用变得越来越普遍时,无论是从科学研究还是从应用开发的角度来看,掌握云计算技术已成为一种趋势.智能家居作为物联网应用的主要领域之一,自然离不开云计算.云计算的发展使用户无需关注复杂的内部工作机制.无需具备丰富的分布式系统知识及开发经验,即可实现大规模分布式系统规定部署,以及海量数据的并行处理. Hadoop是目前较为成熟和应用较为广泛的云计算架构之一.Hadoop的核心思想是分布式并行处理.Hadoop技术中的关键技术是 HDFS(分布式文件系统)和Map/R

基于Azure云计算平台的网格计算，第1部分

在这个由3部分组成的系列文章中,我们将看一下利用Azure云计算平台的网格计算.在第1部分中,我们将看到所涉及的设计模式以及一些有益的观点.在第2和第3部分,我们将看到一个用来展示专门为Azure而开发的网格计算框架的代码例子. 并不是所有人都清楚,网格计算和云计算之间的区别,所以我们先来简短解释一下两者.虽然网格计算和云计算不是同一个东西,但是它们之间有很多可协同的地方,并且共同使用它们是非常有意义的. 网格计算 网格计算就是利用工作于并行模式而非单机模式的一大批计算机来处理计算问题.这种方式

基于Azure云计算平台的网格计算，第2部分：开发网格应用

在本系列的第1部分,我们介绍了在Azure上进行网格计算的设计模型.在这篇文章中,我们将用C#来 开发一个网格应用程序以实现这个模式:而在第3部分,我们将首先在本地运行这个应用程序,接着在云 中运行.为了实现这些功能,我们需要网格计算框架提供的辅助功能. 网格框架的角色 除非你准备编写大量的底层基础软件,那么应该为你的网格应用程序选用一个框架,来消除繁重的工作 ,让你集中精力于应用程序代码的编写.虽然 Azure实现了你想在网格计算基础结构中所需的很多服务 ,但仍然需要在Azure和网格应用程序

全媒体时代基于Hadoop的电视台视频转码系统研究

全媒体时代基于Hadoop的电视台视频转码系统研究 吴锋 本文就全媒体时代电视台对视频转码的需求,详细讨论了基于Hadoop云计算平台的快速视频转码系统的实现原理以及该系统中的创新点. 全媒体时代基于Hadoop的电视台视频转码系统研究

基于Hadoop的电站数据中心云计算模型

基于 Hadoop 的电站数据中心云计算模型 姚建凡 管宇 马松 王一楠 针对云计算中的虚拟化.分布式存储与并行编程模型等问题,提出基于云计算的多电站计算平台的体系结构,实现电站数据中心的可靠存储与快速并行处理.详细讨论了传统的电站计算平台在数据存储和数据处理过程中的不足,设计了基于 Hadoop 的电站数据中心云计算平台,并利用 Hadoop 云计算平台对数据检索的效率进行实验比较分析. 基于 Hadoop 的电站数据中心云计算模型

云队列：一个基于Hadoop的大规模消息基础平台

云队列:一个基于Hadoop的大规模消息基础平台 东华大学 史冬冬 本文基于从当前分布式系统消息通信的需求出发,并结合Hadoop云计算平台,提出了一个面向Internet规模的.高性能和高可靠的消息队列服务平台--云队列(Cloudqueue).通过云队列平台所提供的消息服务实现异步通讯.存储转发.可靠传输.跨互联网等特性,云队列可以在云计算时代为应用程序提供高性能.高可靠.大容量的面向互联网的消息传递服务. 文章从现实需求出发,在分析了消息中间件的相关基础知识和Hadoop关键技术的基础之上