基于MapReduce模型的电力数据并行化的异常检测

基于MapReduce模型的生物量遥感并行反演方法研究 付天新,刘正军,闫浩文 MapReduce 模型是一种基于云计算平台下新型的并行编程模型.文中MapReduce 并行编程模型应用到遥感影像并行化处理中,以2005-2009 年5a生长季期( 5-10 月) MODIS13Q1 数据产品为数据源,对青海省三江源地区的生物量( 草地总生物量和可食草量) 进行并行化反演,研究基于该模型的生物量遥感并行反演方法.实验分析结果表明: 基于该模型的并行生物量遥感反演结果与经过精度验证的串行反演结果一

基于MapReduce模型的排序算法优化研究 金菁 MapReduce已经发展成为大数据领域标准的并行计算模型.理想情况下,一个MapReduce系统应该使参与计算的所有节点高度负载均衡,并且最小化空间使用率.CPU和I/O的使用时长以及网络传输开销.传统的算法往往只针对上述指标中的一种进行优化.在保持算法良好并行性基础上,对多个指标同时进行优化,提出了MapReduce优化算法的设计规范.针对数据处理领域最重要的排序算法进行理论分析,给出了多指标约束下的最后算法,并证明了该优化算法满足MapR

基于MapReduce模型的间歇性能源海量数据处理技术 梅华威 米增强 吴广磊 针对传统间歇性能源海量数据处理技术的局限性,提出了基于MapReduce模型的间歇性能源海量数据处理技术,利用廉价的商用计算机组成集群,对海量数据进行并行处理,确保了海量数据处理的可靠性.低成本.高效能和扩展性,并对该技术的平台实现进行了论述.最后通过实验对比不同数据平台下海量数据处理的效率,验证了基于MapReduce模型的间歇性能源海量数据处理技术的高效性. 基于MapReduce模型的间歇性能源海量数据处理技术

基于嵌入式多处理器的轻量级MapReduce模型研究 随着近年来云计算的快速发展以及多核处理器核心数的快速增长,并行开发技术的应用也越来越普遍.各种并行开发技术如MPI.OpenMP等已经非常成熟的应用于各个领域,并且在Google的MapReduce编程模型的带动下出现了很多基于MapReduce模型的开发框架,如Phoenix.Metis.Hadoop等,但是Phoenix和Metis是基于共享内存架构实现的,不能用于分布式集群,而Hadoop集群部署在嵌入式环境下的执行效率不高.因此目前还

基于Hadoop平台的视觉数据聚类研究与实现 西安电子科技大学 李林 Hadoop是解决大数据存储和分析问题的分布式模型.聚类算法能通过聚类生成码书,对视觉数据进行特征表达.如何将聚类算法架构在分布式模型上完成对大规模数据的聚类是科研和生产中的重要问题.针对大规模视觉数据聚类问题,本文设计并实现了基于Hadoop模型的视觉数据聚类算法,提高了视觉数据聚类的效率. 本文首先介绍了视觉特征,分析了在视觉信息聚类生成码书过程中存在的维数灾难问题.然后,本文详细分析Hadoop分布式模型,设计并实现了基

基于MapReduce计算模型的气象资料处理调优试验 杨润芝 沈文海 肖卫青 胡开喜 杨昕 王颖 田伟 云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题.基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务.准实时业务及科学研究中均具有重要的意义.由于长序列历史资料数据量大.运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长.该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapRe

xml|比较|访问|数据|游标 无处不在的 XML 除了可以表示结构化和半结构化的数据之外,XML 还有许多其他特性,使其成为一种被广泛采用的数据表示格式.XML 是可扩展的,与平台无关的,并且由于其完全采用 Unicode 而支持国际化.XML 是基于文本的格式,因此,用户可以根据需要使用标准的文本编辑工具读取和编辑 XML 文档. XML 的可扩展性表现在多个方面.首先,与 HTML 不同,XML 没有固定的词汇表.相反,用户可以使用 XML 定义特定的应用程序或行业专用的词汇表.其次,与使

一种基于MapReduce的并行聚类模型 顾瑞春  王静宇 在对海量数据进行聚类的过程中,传统的串行模式局限性越来越明显,难以在有效时间内得出满意结果的问题,本文提出一种基于Hadoop 平台下MapReduce框架的并行聚类模型.理论和实验结果证明该模型具有接近线速的加速比,针对海量数据具有较高效率. 一种基于MapReduce的并行聚类模型

基于MapReduce编程模型的TFIDF算法研究 赵伟燕  王静宇 随着Internet等技术的飞速发展,信息处理已经成为人们获取有用信息不可或缺的工具,如何在海量信息中高效地获得有用信息至关重要,因此自动文本分类技术尤为重要.现有的文本分类算法在时间复杂性和空间复杂性上遇到瓶颈,不能满足人们的需求,为此提出了基于Hadoop分布式平台的TFIDF算法,给出了算法实现的具体流程,通过MapReduce编程实现了该算法,并在单机和集群模式下进行了对比实验,同时与传统串行算法进行了对比.实验证明,