云计算平台上实现30年气候资料整编的方法

云计算平台上实现30年气候资料整编的方法

杨润芝  肖卫青  胡开喜  杨昕   王颖  马强

国家气象信息中心存储和保存了50多年宝贵的长序列历史资料,这些历史资料在实时、准实时业务及科研中需要经常被使用并进行气象科学计算.由于历史数据量大,耗时长,如何在短时间内得到所需的计算结果提供用户使用成为本文的主要研究目标.通过搭建云计算平台,并以30年气候资料统计整编研究对象,在云计算平台上基于MapReduce分布式并行计算模型进行多种统计项目、统计方法的算法实现.通过修改云计算平台运行环境参数配置并在不同配置下运行相同计算任务,进行计算效率对比试验.

云计算平台上实现30年气候资料整编的方法

时间： 2024-10-24 18:10:35

云计算平台上实现30年气候资料整编的方法的相关文章

并行高斯消去法在云计算平台上的研究

并行高斯消去法在云计算平台上的研究 潘晓辉 为了解决串行部分选主元的高斯消去算法不能充分利用多核处理器的问题,提出并实现了并行多线程的部分选主元的高斯消去算法,并将整个算法进行了分析和优化,使数据的存储布局和算法的访存模式匹配,从而大幅提高了程序的性能.通过对本地Linux服务器以及美国亚马逊EC2云的多种平台上的实验结果的比较和分析,确定了部分选主元的高斯消去算法受缓存影响较大,所以在CPU和内存/缓存配置较为均衡的平台上运行性能最好.本文展现了一种高效率.扩展性好的多线程并行部分选主元的高斯

云计算平台上的增量学习研究

云计算平台上的增量学习研究 南京邮电大学 李曼 本文结合传统增量学习算法自身的特点,在深入分析MapReduce框架机制之后,将模块化的集成学习思想融入增量学习的过程中,设计了两种基于云计算平台的增量分类算法.两种算法的Map阶段都是完成相应基分类器的训练,不同的Map任务可以高度并行化地执行.Reduce阶段根据学习环境中是否有概念漂移现象的产生,分别采用分类器组合方式与分类器选择方式对Map阶段的基分类器进行集成,从而分别实现了无概念漂移和有概念漂移环境中快速.高效的增量式数据挖掘任务.在K

云计算：程序员重回个人英雄时代，国内云计算平台即将搭建运行。

    国内的云计算平台提供商将主要是中国移动.中国电信和中国联通三家运营商.当前,中国移动已经建成1000台服务器.5000个CPU核心.3000TB存储规模的"大云"试验平台.2010年5月21日,中国移动在第二届中国云计算大会上发布了"大云"1.0版本,已实现分布式文件系统.分布式海量数据仓库.分布式计算框架.集群管理.云存储系统.弹性计算系统.并行数据挖掘工具等关键功能.中国移动已经发放了一些试用帐号,相信很快将开放出来给公众使用. 曾几何时,那些耳熟能详的

目前部署在云平台上最多的五类应用

在完成http://www.aliyun.com/zixun/aggregation/13423.html">云计算平台的建设后,企业应考虑将业务应用逐步部署到云计算平台上.需要指出的是,将业务应用过渡到云计算平台上并不是一夜之间就可以实现的.事实上,不是每项业务应用都应该立刻列为迁移到云计算平台上的候选.从目前云计算的发展来看,不是每项业务应用在云计算平台上都能有很好的效果.例如,云计算平台对于一个工作负载在各个时间非常平均的应用来说,并不能体现出足够的优势.企业用户需要对应用进行评定,

全球首个企业云计算平台初探

本文讲的是全球首个企业云计算平台初探,[IT168 资讯]作为全球首个企业云计算项目,中化集团借ERP系统全面升级的契机,成功应用了IBM大中华区云计算中心(IBM Cloud Labs & HiPODS)提供的解决方案,将ERP系统部署于跨越两个数据中心的云端.不仅实现了ERP系统升级的平滑过渡,而且使得企业内部的IT基础设施以及各类软件应用未来能够运行得更加灵活. 发布会后,CIOAge记者应邀对中化集团信息技术部总经理彭劲松.IBM大中华区云计算中心(IBM Cloud Labs &

IBM“蓝云＂云计算平台应用实例

IBM的"蓝云"计算平台是一套软.硬件平台,将Internet上使用的技术扩展到企业平台上,使得数据中心使用类似于互联网的计算环境."蓝云"大量使用了IBM先进的大规模计算技术,结合了IBM自身的软.硬件系统以及服务技术,支持开放标准与开放源代码软件."蓝云"基于IBM Almaden研究中心的云基础架构,采用了Xen和PowerVM虚拟化软件,Linux操作系统映像以及Hadoop软件(Google File System以及MapReduce

青岛首个污染源管理云计算平台逼排污企业显形

"有了环保物联网,企业超标排污立马显形."在今天举行的西安交通大学青岛研究院揭牌仪式上,西安交通大学软件学院教授林宣雄介绍说. 林宣雄所说的是此次与胶州市环保局合作的环保物联网总量控制及排污权交易云计算平台项目,将打造青岛首个物联网云计算和污染源管理的高科技应用平台,并计划于今年底投入使用. "环保物联网技术能把各类污染源信息和环境信息实时采集,建立统一的智能海量数据资源中心,进行数据挖掘.模型建立,从而为监管部门提供总量控制.生态保护.环境执法等服务的数据基础."

北京建成国内最大工业云计算平台

本报讯(记者刘欢)由北京市科学技术研究院计算中心打造的百万亿次超级工业云计算平台已经建成.这个"云平台",拥有每秒百万亿次的超强计算能力,是目前国内最大的工业云计算服务平台. 云集4668个关键"核" 所谓"云平台",通俗地说,就是计算机群,每一群包括了从几十台到几十万台.甚至上千万台计算机.在云计算平台的模式下,用户所需的应用程序并不运行在用户的个人电脑上,而是运行在互联网上大规模的服务器集群中.也就是说,当一些中小企业需要在工业设计.科学计算

新浪云计算平台SAE新版上线：强化应用商店

SinaAppEngine官方网站 新浪科技讯 9月15日消息,作为国内首个公有云计算平台.新浪云计算战略的核心组成部分的SinaAppEngine(微博)(http://sae.sina.com.cn)近日全新改版上线,页面继续保持 "简洁.清新"的风格,重在加强用户体验,尤其是WEB开发者们的应用开发托管需求.本次改版更加注重细节,并进行了一些独特创新的形象化设计,进一步强化了页面导航.应用商店.互动反馈等功能. 基础功能不断满足用户潜在需求 SAE网站此次改版的最大亮点就是首页S