什么时候HPC和云走在了一起?

在我的印象中,HPC(High performance computing,高性能计算)是一个追求卓越性能的独特计算环境,想想它的应用场景,是帮助科学家和工程师们利用其超高计算能力解决复杂的科学、工程等难题,注定了是“阳春白雪”而非“下里巴人”。

所以,也没认为HPC能和云计算走在一起。一是因为云计算采用的关键技术是虚拟化,这样会导致牺牲一部分性能,而高性能计算则追求“高速”,两者看似相左。二是因为传统的HPC基础架构的利用率已经非常高了,云的动机也就大打折扣。

不过,当看到亚马逊AWS、微软的Azure陆续推出HPC集群服务后,并且国内阿里云也于近日宣布其基于公共云平台的HPC正式对外商用。我才知道,原来是我落伍了!

以云计算灵活的弹性应用模式来解决公共高性能计算平台的系统管理问题是HPC与云走在一起的巨大推动力,并且云计算的发展也渐渐提升了对HPC高性能计算的基础环境支撑能力。

尤其对于高校而言,研究门类众多,物理、化学、电子、生命科学等众多学科发展高度依赖于高性能计算。不过,对于学校的科研资源获取和管理来说面临众多困难,例如,统筹难,以团队/项目为单位的控制方式,资源分散;投资大,资源相互之间无法共享,不断投资扩容,消耗资金;维护难度大,网络配置、操作系统安装、HPC软件部署都不是一件容易事。

品高云教育行业经理吴一冰这样来形容HPC在高效的应用和管理难题,“物理学院的老师搭好HPC环境之后,即便不用,借给材料学院的老师,也没法直接用,要做很大的改动,材料院的老师用完也没法恢复成物理院需要的HPC环境。简单说,构建难度大、复杂度高,归根结底就是交付效率比较低。”

所以,看到这里,你或许已经知道HPC科研云落地在高校是多么有必要了。

HPC牵手云 重管理舍性能?

HPC以云的方式落地带来的性能损耗与其带来的收益相比已经不重要了,况且,这个损耗真的还那么大吗?

在品高云眼里,这个答案是否定的。“为了提供更强大的计算性能,品高云HPC in Cloud告别虚拟机,改用LXC容器技术来提供计算单元,基本上可以实现物理服务器99%的性能。” 吴一冰在接受ZD至顶网采访时表示。

“用容器代替虚拟机实现全新的计算单元,已经接近物理机的性能。并且,它还可以挂载很多高性能计算所需要的底层特殊硬件,比如GPU。”

所以,有了技术突破,HPC in Cloud已然开启!

用云搭建HPC 充分释放云计算潜力

在海南大学,已经成功构建教务云支撑业务应用与高性能计算。基于品高云搭建的教务云,海大业务系统与高性能计算共享同一IT基础设施平台,因此在业务系统夜晚访问压力较小的时候,可以尽量运行高性能计算任务。对于白天已经开始运行的计算任务,品高云并行计算可以支持热添加计算节点,将白天运行业务系统的资源创建新的计算节点添加进已有的计算任务中,从而实现业务应用与高性能计算在业务闲/忙时的“切换”,提高海大高性能计算服务能力。

并且,品高云内置Matlab、Hadoop等多种高性能计算应用部署方案,海大老师通过界面点击即可在几分钟内顺利获得可直接使用的HPC环境,大大降低了科研人员使用HPC的技术门槛。

用云来搭建HPC,充分利用了云计算的优势。

品高云HPC in Cloud架构

利用云平台建立校级云资源服务平台,并统一对教务和科研需求提供资源,海大老师可以按需申请HPC资源。通过应用自动化部署服务将常见HPC软件打包成模板,各学科老师按需申请资源。利用闲时可以将教务系统部分资源,停机保号(关机但数据保留),将资源提供出来跑HPC业务。利用弹性服务功能,当应用负载增加时自动创建资源应对,降低业务宕机风险。利用SAN做高性能计算,用普通PC组成分布式存储,存放结果数据,降低成本。

吴一冰指出,“用户就可以自助的去使用平台来创建HPC集群,只需要选择他需要的HPC软件应用、选择节点配置、指定节点规模。剩下的所有事情,都交给云,云会自动创建资源、自动安装软件、自动配置成集群,用户可以直接使用。”

融合式教育云是高校IT发展前进路

细心的人或许已经发现,在海大的案例中,它不是单纯的构建的HPC的云,而是融合了学校各信息系统的整体教务云,包括学工系统、人事系统、教学管理系统等,在这之上向海大的老师提供高性能计算的资源。

高性能计算中心作为一个公共的服务平台,已经融入到学校的整体信息化结构中,而不是独立成篇。这正是品高云推出的融合式教育云的理念,集支撑教务应用、科研HPC、教学实训、大数据处理、移动信息化、校内云存储于一体的云平台。

如同品高副总经理周静所强调的,“让高校的传统网络中心完成向服务中心的转变,不再是把所有工作聚焦在硬件、软件的安装上,而是由云自动化的交付一切,包括高性能计算。”

原文发布时间为: 2015年12月31日

本文作者:陈广成

时间: 2024-11-08 18:07:25

什么时候HPC和云走在了一起?的相关文章

阿里云走出去的底气何在?

UC总裁俞永福说过,今天,企业与企业没有永远的竞争,没有永远的合作,"竞合"是企业关系的常态.亚马逊与阿里巴巴的关系生动阐释了这点:亚马逊在天猫开的旗舰店浮出水面的这几天,阿里云在硅谷建立了首个海外数据中心,面向美国企业和正在进军北美的中国企业,提供云计算服务,它的美国对手包括Amazon AWS.微软Azure和GCE(Google Computing Engine). 阿里国际化不只是买卖交易 这只是开始,阿里云作为阿里巴巴仅次于电商和金融之外的第三大业务,顺着阿里巴巴整体国际化的

HPC怎样与云走在一起?

如今,"云计算"简单的功能,低成本的优势已经成为IT业界的热门词汇,不管是专业人士还是厂商,都希望数据中心能发生翻天地覆的变化.HPC--高性能计算,许多相关用户也都在貔虎其负载是否适合于部署在云环境中.之所以会意见不一,主要在于人们对于"究竟什么是云计算?"以及"什么样的应用算得上是HPC应用?这问题上的答案大相径庭. HPC应用是无法"一刀切"的,我们不可能说一下子就把某类应用直接归纳到HPC应用中. 2000年初,计算机应用从集中

HPC与云融合之道

云与超算规模的管理挑战 高性能计算作为实验和理论以外的第三大科学研究手段,越来越受到重视.高性能计算甚至在一定程度上反映了综合国力发展水平,各国都投入巨资建造大型超级计算机,TOP 500的记录不断被刷新.但是超算规模的增加,也给高性能计算的系统管理带来了新的挑战. 1. 在固定资源情况下,多用户使用的高性能计算系统作业调度追求系统利用率和用户服务质量平衡,但很难同时保证,比如短作业等待时间的调度目标将导致低利用率,而高利用率的调度目标有可能增加用户作业的等待时间. 2. 随着高性能计算应用的普

谈谈HPC可否掀起下一轮技术热潮

需求的膨胀推动着技术变革,技术的革新进一步丰富着我们的生活,如今大数据.云计算技术已经自身疲惫了.然而跨界竞争和技术融合迫使我们不断换血和补充能量来适应一次次变革.那么在人工智能.虚拟现实.物联网等技术热潮过后,能预测到的下一个技术热点会是什么,高性能计算(HPC)?面对技术和行业融合现状,HPC应该再适合不过了,另外,我也倾向于把HPC看作是一种跟各个行业比较紧密结合的技术. 在这里谈到的HPC,已经不仅仅是简单的一堆计算.网络.存储.HPC软件等设备,而更多的是聚焦在HPC的发展.主流玩家.

“云上超算”的愿景,阿里云高性能、异构计算抢先实现了。

最初见到"超算平民化"的概念是在2009年<纽约时报>网络版刊登的一篇文章: 当时,云计算刚刚兴起,超级计算机开始大量采用标准化硬件架构,这两个趋势让HPC通过云服务的形式来提供计算力的新模式成为可能.在当时看来,"云上超算"并不遥远,其所带来的"超算平民化"亦将带来超算发展的一场新的变革. 在近年的中国TOP100榜单中,有超过半数的超算所从事的都是互联网应用--互联网服务.大数据应用.云计算.电子商务.视频服务等等.相比过去,超算

阿里云HPC--人工智能加速利器

一. 什么是阿里云HPC 阿里云HPC是阿里云高性能计算的简称,有两重含义,一重含义是阿里云高性能计算产品,另一重含义是指阿里云高性能计算团队. 作为产品来讲,是中国第一个在公共云上推出的高性能计算的产品,也是中国首个推出公共云上的Nvidia Maxwell GPU + Intel Broadwell CPU 架构的强强组合的产品,单节点单精度计算能力超过16Tflops,初期提供物理机 + Tesla GPU加速卡形式. 推出阿里云HPC主要基于HPC用户的特点:(1)对高性能计算有永无止境

使用阿里云开放搜索服务快速搭建资源搜索网站

大家好,我又来了,答应云栖论坛一周一篇文章, 由于工作太忙已中断1个多月实在抱歉,这一次写点轻松有趣的东西-快速的做个资源搜索站 依稀记得十来年前,带宽还只有2M的时候,受各个论坛启发,做了可以搜索嘿嘿嘿资源的搜索站 一晃这么多年过去,嘿嘿嘿的东西依然喜欢,但世间却变化万千 资源种类已不仅仅是X片,高清电影.纪录片.无损音乐.美剧.大型软件等等,似乎更加吸引 资源呈现方式也百花齐放,从最早的BT文件.电驴地址,到现在的磁链地址.各种云盘等等 而传统的P2P下载方式也变得格格不入,因为硬盘容量已经

黑客全军覆没 书生安全云实战各路高手

本文讲的是黑客全军覆没 书生安全云实战各路高手,武术之道讲究形神兼备,内外合一.然世间习武者,多钻研外功者,却少见恒练内功之人.皆因外功一事,习之便利,所费时日既短又少,而无论所习何种内功,少则几年,多则数十年方可见效.因此,真正习武之人除各种外法之外,必兼练一.二种内家功夫以辅其不足. 以武论道,当今互联网世界同样可借古喻今.例如谷歌.Gmail用户账号被黑.icloud艳照的疯狂泄露,再到波及全球的棱镜门.斯诺登这一系列安全问题,无一不是震动四方的大事.为此,在安全事件频发的背景下,我国工业

阿里云副总裁杨名:“通向智能之路”

6月15日,第十五届中国软交会在大连开幕.在当日举行的2017全球软件和信息服务高峰论坛上,阿里云计算有限公司副总裁杨名以"通向智能之路"为题,回顾了阿里云的成长壮大历程,分享了阿里云在云计算.大数据.人工智能领域的技术突破以及生态伙伴体系建设.未来发展方向等方面的内容. 阿里云计算有限公司副总裁杨名 过去几年来,阿里云发展速度非常迅速.目前阿里云在中国公有云市场占有率超过50%,中国有40%的网站都运行在阿里云上,一半独角兽公司都在阿里云. 阿里云计算有限公司副总裁杨名表示,阿里云已