基于Hadoop的视频摘要的设计与实现

基于Hadoop的视频摘要的设计与实现

华南理工大学 彭华聪

本文意图利用云计算技术将目前主流的基于运动过程的动态视频摘要技术由单机提取模式改造成分布式模式。从而在面对数据膨胀时,仅仅通过加入廉价的计算节点来提高视频摘要的提取速率,使得视频摘要技术能更好的投入实际生产中。首先,对云计算技术和视频摘要技术进行了大量的研究。选取了合适的开源云计算平台Hadoop分布式系统,并对Hadoop分布式系统与处理视频摘要的相关机制进行了分析。在视频摘要技术方面,概述了视频摘要技术的总体状况,详细介绍了基于运动过程的动态视频摘要技术的主要过程。其次,对在Hadoop分布式系统上进行云应用的开发规则和视频处理技术特点进行了研究,指出了利用Hadoop分布式系统处理视频摘要优势,同时提出了视频摘要技术的Mapreduce化、帧完整性、运动事件一致性等问题。通过对处理过程的分析、Hadoop的数据存储过程进行扩展,增加分块逻辑、将运动事件进行数学模拟,取合理的阀值等方式,给出了解决方案,为构建基于Hadoop的视频摘要系统准备了理论基础。再次,在前面理论分析的基础上,对基于Hadoop的视频摘要系统的开发进行了需求分析,设计了整个系统的架构,实现了整个系统。最后,设计了实验方案,实验数据表明当数据量增大到350MB时,双节点的基于Hadoop的视频摘要系统相对于单机提取模式效率要高。而且随着数据的增加,基于Hadoop的视频摘要系统的效率越来越高,最终处理周期趋向于单机模式的1.63倍,并具有较好的扩展性。

基于Hadoop的视频摘要的设计与实现

时间: 2024-10-23 02:59:00

基于Hadoop的视频摘要的设计与实现的相关文章

基于Hadoop的视频监控系统的设计与实现

基于Hadoop的视频监控系统的设计与实现 内蒙古大学  梁师师 随着平安中国项目的深入,公众对视频监控的需求越来越强烈.摄像头等视频采集设备的清晰度不断提高,监控器的个数不断增加,对视频处理的需求不断提高,这与传统的网络视频监控系统架构发生矛盾.而日益兴起的云计算为视频监控开辟了一条新的道路,云视频监控系统满足了大数据计算.存储的要求,解决了传统的视频监控系统的缺陷.本文的工作正是在云计算技术基础上搭建大规模高清视频监控系统.本文首先简单介绍视频监控技术的发展过程和目前视频监控技术遇到的瓶颈问

ZFS在基于Hadoop的视频存储系统中的应用

ZFS在基于Hadoop的视频存储系统中的应用 高煜红 陈清华 方路平 随着视频点播技术的不断发展,视频数据呈现出爆炸式增长,对文件存储及其扩容性方面提出了苛刻的要求.该文首先简单地描述了数据存储服务集群及该集群主要采用分布式平台Hadoop,使用ZFS动态文件系统作为后端存储文件系统.接着简单介绍了ZFS的特性,其次着重介绍ZFS在HDFS上的集成设计,最后通过相应的实现和ZFS性能比较测试,证明ZFS文件系统在视频文件存储中具有很好的应用价值. ZFS在基于Hadoop的视频存储系统中的应用

基于Hadoop的云安全存储系统的设计与实现

基于Hadoop的云安全存储系统的设计与实现 广东工业大学  蒋向阳 云计算是分布式计算.并行计算和网格计算的发展,给人类生活.生产方式和商业模式带来根本性改变,是当前全社会关注的热点之一.云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用.网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显出来,安全问题已成为阻碍云计算和云存

基于Hadoop的电子商务推荐系统的设计与实现

基于Hadoop的电子商务推荐系统的设计与实现 李文海 许舒人 为了解决大数据应用背景下大型电子商务系统所面临的信息过载问题 研 究 了 基于构建分布式电子商务推荐系统的方案采用基于模型实现的算法具有较高的伸缩性和性能 能高效地进行离线数据分析为了克服单一推荐技术的不足 设计了融合多种互补性推荐技术的混合推荐模型实验结果表明基于平台实现的推荐系统具有较好的伸缩性和性能. 基于Hadoop的电子商务推荐系统的设计与实现

[文档]基于Hadoop 平台的数据分析方案的设计应用

基于Hadoop 平台的数据分析方案的设计应用 姜文,辛阳,陈林顺 摘要:面对互联网上的海量数据,单台主机已无法满足其存储和计算要求,分布式存储和分布式计算的应用成为必然的趋势.其中Hadoop 是应用较多的分布式存储和计算框架之一.本文在该平台下,通过对国内某搜索引擎两个月内的上千万条用户搜索日志进行数据统计分析,给出相应Map/Reduce 程序的设计思路和实例,并提出Map/Reduce 分布式程序的部分设计和性能优化方法,实验结果表明,本文提出的这些方法能简化Map/Reduce 程序设

基于Hadoop的海量小型XML数据文件处理技术的设计和实现

基于Hadoop的海量小型XML数据文件处理技术的设计和实现 西安电子科技大学 孔鑫 本文重点研究了如下内容:1)设计了专门针对海量小数据XML文件进行处理的分布式海量小型XML数据处理系统(Distributed Massive SmallXML files system,DMSX),该系统的主要思想就是将海量小数据XML文件在Hadoop系统中高效的进行处理.2)该系统通过运用生产者-消费模式,多线程并发技术,多级缓存技术等,来提高系统的整体处理能力.3)该系统通过对合并后的文件进行分段存储

基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现

基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现 南京理工大学  李元洪 本文在介绍云计算的基本概念.体系结构及其应用发展的基础上,分析了云计算模型的实现框架和容错机制.针对云计算Hadoop开源平台,详细分析了其中的分布式文件系统(HDFS, Hadoop Distributed File System)和MapReduce计算模型,并对Hadoop平台下的作业调度技术.FIFO.公平队列和计算能力作业调度算法做了深入的研究. 对Hadoop现有的调度算法在异构环境下的计算性

[文档]基于Hadoop/Hive的web日志分析系统的设计

基于Hadoop/Hive的web日志分析系统的设计 刘永增,张晓景,李先毅 利用Hadoop.Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度.通过与单机实验的对比,证明系统是有效的和有价值的. 关键词:web日志:云计算:Hadoop:Hive [下载地址]http://bbs.chinacloud.cn/showtopic-12968.aspx

基于Hadoop的多星表存储与交叉证认的设计与实现

基于Hadoop的多星表存储与交叉证认的设计与实现 山东大学 张夏旭 面对海量天文数据,如何高效的存储和对多星表进行交叉证认显得尤为重要.海量天文数据处理必须要使用分布式.并行计算等大数据处理技术才能有效解决.本文对利用Hadoop处理海量天文数据进行了研究,主要工作分为以下三部分: 1.利用Hadoop的HBase组件,构建对不同星表数据的有效存储,提高集群磁盘利用率和星表信息查询效率. 2.在对HEALPix和HTM两种伪二维球面索引方法进行研究的基础上,结合Hadoop实现多个星表之间高效