基于MapReduce模型的间歇性能源海量数据处理技术

基于MapReduce模型的排序算法优化研究 金菁 MapReduce已经发展成为大数据领域标准的并行计算模型.理想情况下,一个MapReduce系统应该使参与计算的所有节点高度负载均衡,并且最小化空间使用率.CPU和I/O的使用时长以及网络传输开销.传统的算法往往只针对上述指标中的一种进行优化.在保持算法良好并行性基础上,对多个指标同时进行优化,提出了MapReduce优化算法的设计规范.针对数据处理领域最重要的排序算法进行理论分析,给出了多指标约束下的最后算法,并证明了该优化算法满足MapR

基于MapReduce模型的电力数据并行化的异常检测 许元斌 钟小强 王丹 李春生 提出了基于MapReduce计算模型的电力数据异常检测的并行化设计,实现了多个计算节点对海量的电力数据进行并行化的异常发现,从而快速发现存在异常的采集点. 基于MapReduce模型的电力数据并行化的异常检测

基于MapReduce模型的生物量遥感并行反演方法研究 付天新,刘正军,闫浩文 MapReduce 模型是一种基于云计算平台下新型的并行编程模型.文中MapReduce 并行编程模型应用到遥感影像并行化处理中,以2005-2009 年5a生长季期( 5-10 月) MODIS13Q1 数据产品为数据源,对青海省三江源地区的生物量( 草地总生物量和可食草量) 进行并行化反演,研究基于该模型的生物量遥感并行反演方法.实验分析结果表明: 基于该模型的并行生物量遥感反演结果与经过精度验证的串行反演结果一

2017年10月12日,杭州云栖大会上,阿里云副总裁李津做了"云之深处"的重磅发布,宣布了阿里云ECS云服务器通过SAP HANA认证.这标志着阿里云弹性计算产品与SAP产品相结合,利用双方在大数据.人工智能方面的优势,一起让企业解决方案更加"智能",创造出更有前景的价值. SAP HANA 是一款支持企业预置型部署和云部署模式的内存计算平台,能够帮助客户加速业务流程,实现更智能的业务运营,并简化 IT 环境.通过为客户的一切数据需求提供基础平台,SAP HANA

2017年杭州云栖大会上,阿里云宣布ECS企业级云服务器通过SAP HANA认证.这标志着阿里云将弹性计算产品与SAP产品相结合,利用阿里云在大数据.人工智能方面的优势,与SAP一起让企业解决方案更加"智能",创造新价值的最新实践. 据了解,此次通过认证的实例类型 ecs.se1.14xlarge 属于 ECS 企业级内存型实例家族 SE1,已经在全部地域可以购买.该实例规格具有如下特点:56 vCPU(Intel Xeon E5-2682v4 2.5GHz)具有高缓存及内存带宽的特点

基于嵌入式多处理器的轻量级MapReduce模型研究 随着近年来云计算的快速发展以及多核处理器核心数的快速增长,并行开发技术的应用也越来越普遍.各种并行开发技术如MPI.OpenMP等已经非常成熟的应用于各个领域,并且在Google的MapReduce编程模型的带动下出现了很多基于MapReduce模型的开发框架,如Phoenix.Metis.Hadoop等,但是Phoenix和Metis是基于共享内存架构实现的,不能用于分布式集群,而Hadoop集群部署在嵌入式环境下的执行效率不高.因此目前还

 文章转载自: http://blog.csdn.net/v_july_v/article/details/670407 从hadoop框架与MapReduce模式中谈海量数据处理 前言     几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理.     由此,最近凡是空闲时

基于云计算及数据挖掘技术的海量数据处理研究 王鹏 王健安 郭畅 巴济慈 主要介绍了在HADOOP平台下使用优化的SPRINT 算法进行海量数据处理.首先介绍了传统的数据挖掘算法SPRINT 算法,然后结合云计算中的MapReduce 编程模式对SPRINT 算法进行改进和优化,将并行的SPRINT 算法移植到HADOOP平台下,最后通过实验实现分布式数据处理. 关键词:云计算:数据挖掘:SPRINT :HADOOP:MapReduce 基于云计算及数据挖掘技术的海量数据处理研究

基于MapReduce编程模型的TFIDF算法研究 赵伟燕  王静宇 随着Internet等技术的飞速发展,信息处理已经成为人们获取有用信息不可或缺的工具,如何在海量信息中高效地获得有用信息至关重要,因此自动文本分类技术尤为重要.现有的文本分类算法在时间复杂性和空间复杂性上遇到瓶颈,不能满足人们的需求,为此提出了基于Hadoop分布式平台的TFIDF算法,给出了算法实现的具体流程,通过MapReduce编程实现了该算法,并在单机和集群模式下进行了对比实验,同时与传统串行算法进行了对比.实验证明,