高性能计算应用走入新时代 大计算来临

很多人也许觉得高性能计算离我们很远,在高性能计算上的技术发展只能代表纯粹计算技术上的进步。但实际上,随着高性能计算的应用领域越来越广,高性能计算已经走入了一个全新的时代。以前高性能计算主要集中在传统行业领域的研究,如石油、气象、材料、物理和地球科学计算等领域。而近几年随着高性能计算技术快速发展、互联网与传统行业不断地渗透和融合,推动了工业4.0、智能语音、人脸识别、智慧医疗、可穿戴设备等各个领域的快速发展,这些技术改变了我们生活的方方面面,也使得我们的生活越来越便利。

高性能计算不再是高深莫测的科研技术,它已经实实在在地影响着我们的生活。“根植应用,引领创新”也成为高性能计算新的主题。日前,来自传统行业和互联网行业、工业制造行业等新兴领域的专家和用户一起云集于一年一度的高性能计算用户大会,共同讨论高性能计算发展趋势、交流经验、学习新技术。据了解,这个大会最早是由浪潮主办的高性能计算大会,经过数年发展,高性能计算用户大会吸引了英特尔、英伟达、中科院、清华大学、中石油等一批高性能计算领域的海内外知名技术厂商、应用和研究机构参与,逐渐发展成为国内高性能计算领域规模最大的大会,至今已经举办了五届。

中国HPC建设取得举世瞩目的成就

国家863计划“高性能计算机及其核心软件”重大专项总体组组长北京航空航天大学钱德沛教授在接受采访时强调,计算已经从最初的为了计算而发明,渗透到我们生活的各个方面,可以说如果没有计算我们今天的社会将无法运行。美国前不久发布了关注计算的战略,协调美国各方面的力量来发展计算战略能力,支撑美国国家发展和社会进步。我国从2013年也开始做计算战略研究,今年年初的时候已经提出了在十三五期间发展高性能计算的建议。

实际上,近几年来我国在高性能计算硬件系统建设上取得了举世瞩目的成就,今年7月份,在2015国际超算大会上公布了最新的全球高性能计算TOP500排行榜,这是当前全球HPC业界高权威的榜单。中国的天河2号以每秒33.86千万亿次的浮点运算速度继续蝉联了榜单第一名,获得了五连冠,中国HPC再次站在了世界的巅峰。

浪潮高性能计算经理刘军对记者说,十几年前国内大多数高于五百万以上的HPC项目都被国际品牌垄断,而今天国内HPC厂商已经在中国市场上拥有了最高、最多的份额,并且中国HPC已经开始走出国门,为海外的HPC客户提供更好的产品与服务。如浪潮刚刚和思科签约建立合资公司,补全了其产品线,也使浪潮从中国本土公司走向世界,成为一个国际化IT公司添加更强助力。

新兴领域导致大计算成为趋势

在文章开头提到的深度学习、人工智能和工业4.0等新兴领域发展的背景下,“大计算”开始成为一种趋势,它主要体现在两个方面: 第一是云计算、大数据和高性能计算等多种计算形式在逐步融合,互联网技术、遥感技术的快速发展和对其他行业的渗透,带来了数据的爆炸式增长,也带动了人工智能等一批新技术的兴起,复杂的应用使得单一架构的数据中心难以胜任处理工作,需要将不同的计算方式予以融合。

第二是基础架构如计算、网络、存储等的界限也越来越模糊,走向软件定义的趋势。

同时,大计算也代表着一个更大计算力的时代——百亿亿次。数据的爆炸式增长带来的直接结果,就是对计算力的需求更加旺盛。在人类社会的数据量以EB级的速度增长的情况下,需要一种新型的低成本、高效率计算架构(主要是芯片、网络技术的颠覆性变革),才能完成数据处理的工作。

刘军认为在这样一个新的计算时代我们将面临三方面的挑战。首先是我们希望用一个大计算解决所有企业计算架构的问题,但是不同的应用应该具备不同的计算特征,我们需要一个具有适应性的计算环境。第二个挑战是统一的硬件架构需要面对多样的计算挑战,如大数据、科学工程计算和深度学习等,它们对后台的计算架构需求不一样,硬件架构应该如何应对这个挑战。第三个挑战是混合的计算架构如何提供应用需要的灵活性。

浪潮计算+策略实现软件定义的HPC

浪潮今年4月份提出了一个计算+的策略来应对以上三种挑战,其核心理念是通过软件定义的方式实现整个计算架构的融合,将服务器、存储、网络等合为一体。基于这样的策略,浪潮在三个方面进行了准备。

第一是提供一个具有适应性的计算环境。在不同的计算中不同应用对于计算特征的需求完全不同,我们不可能借助一个环境做一切事情浪潮提供了更多的可能性和选择性。如浪潮可以提供32路高端计算设备,明年64路关键应用主机也将推出。单机支持1000核以上的计算能力。虽然这属于小众产品,但是有了它,大规模的工程仿真、机器化的数值天气预报、光谱分析都可以通过这样的模型来完成。此外,浪潮提供高密度的HPC集群产品,在分子动力学、电池模拟、网络安全、深度学习等领域帮助构建计算架构。

第二是融合基础架构。计算、存储和网络正在实现融合,浪潮可以提供一个整机柜式的基础架构平台,它在一个机柜里面用相同的物理规格实现不同的计算功能,通过软件定义的方式实现资源池化和共享。并且在整机柜中,供电和散热也可以实现统一的共享,对于整个机柜所有的计算资源实现统一管理,实现机柜全局管理的融合。

第三是软件定义的HPC。软件定义这个词近些年非常热,应用到HPC中就是在前面适应性的计算环境和融合架构基础上,加上提供软件定义。这里面应该包含软件定义的数据服务、软件定义的网络服务和软件定义的资源服务三个层次。

软件定义的数据服务是指高性能计算、大数据、云计算形成统一的管理,可以支持不同数据格式,为不同的应用提供统一的存储空间。而软件定义的网络服务是指在软件定义的环境中不同应用场景通过软件定义形成不同的拓扑,通过资源通讯密集应用放到网络同一平面上。软件定义的资源服务可以实现资源的服务和调度统一,在物理机和虚拟机之间实现资源分配和迁移,实现计算在本地和云端的统一管理。

为HPC未来做技术储备

除了高性能计算产品的准备,浪潮还和英特尔在四年前成立了中国云计算实验室,为未来做技术储备。刘军透露,这个实验室在过去几年中主要是基于英特尔众核计算技术做一系列相关工作,在两方面取得了比较突出的成果。一个是新的众核计算技术和实际应用的结合,在这个实验室里针对国内主要行业的应用,不论是传统的科学工程计算、石油、气象应用,还是新兴的互联网学习应用都和众核计算结合的非常好。众核技术在性能功耗方面有着非常突出的表现,如果有更多应用发挥出众核计算的优势,不管是对计算性能的提升还是对降低系统功耗都有非常大的作用。

第二个成果是浪潮基于这个联合实验室做了大量人才培养和技术培训的工作。浪潮在每年的ASC超算大赛里都设定相应的采用中和技术解决实际问题的试题,这激发了很多大学生通过这样的机会喜爱上HPC,并且在今后投身到HPC的实验中。

浪潮已经基于联合实验室不断在国内各地甚至香港地区开设了基于众核技术训练班,使得浪潮有原来越多的技术人员、开发人员、学生能够了解学习关于众核技术在HPC的变成和应用,使得新的技术可以更快更好的进入到实际应用当中。

本文作者:佚名

来源:51CTO

时间: 2024-07-31 14:59:43

高性能计算应用走入新时代 大计算来临的相关文章

展望云计算新时代数据库计算力的进化

从1970年关系数据库理论被提出,到2006云计算概念的诞生,半个世纪以来IT行业的科技革新不断引领着时代潮流.作为IT技术的核心领域之一,数据库如何在云计算的大时代背景下持续进化,开拓创新. 10月12日的云栖大会·阿里云自研数据库POLARDB专场,阿里云研究员余锋带来了<展望云计算新时代数据库计算力的进化>主题分享,探讨了阿里云数据库团队自研数据库POLARDB的设计理念,并一起展望了新一代云数据库的未来. 云数据库的进化 数据库是计算,是存储,也涉及网络和内存,但它们都是非常密集的基础

曙光重塑大数据 开启“超融合”计算新时代

ZDNet至顶网服务器频道 10月15日 新闻消息:为满足各种棘手的业务需求,企业不惜重金采用先进的技术和架构,扩大数据中心规模.而如何通过软件定义将IT架构变的更加智能.更加适用于企业的业务需求,同时更好的控制运维成本,已成为各大IT企业必须考虑的重要因素. 纵观IT历史的发展,每个阶段都有不同的IT架构,譬如高性能计算集群架构的出现解决了气象数值预报等计算密集型应用的计算瓶颈,云计算架构的出现为用户带来弹性灵活的配置使业务更加易于部署,大数据计算架构的出现又解决了用户海量数据挖掘的问题.随着

解析在大数据(BigData)新时代下的商业智能平台技术

Facebook宣布用户量目前超过了7.5亿,每天的分享的次数达到40亿.IDC预测从2009年到2020年,数据总量将增长44倍,达到35ZB(zettabyte),并且其中80%的数据都是非结构化数据.BigData又是一个没有规范定义的概念,不同的应用对大数据都有不同的理解.大数据是否开启了一个新时代,现在下结论或许为时过早,但它所带来的巨大影响,不容我们忽视. Informatica企业数据集成产品管理总监郑玮时,她分享道:"大数据有两个明显的特征,第一,数据的属性是非结构化或者半结构化

立足本地 阿里云决战大规模计算新时代

本文讲的是立足本地 阿里云决战大规模计算新时代[IT168专稿]以亚马逊为代表的云服务模式在国外已经发展了多年,仅商用化发展就已经有了5-6年的时间,但是在国内云计算的发展仅仅是一个开始.依托于强大的电子商务平台,阿里巴巴很早就嗅到了未来云计算的机遇,并于2009年开始构建阿里云平台. 做服务平台是阿里巴巴的强项,在国内电子商务领域,阿里巴巴拥有一整套的解决方案,从产品交易到支付渠道,再到物流领域,都充分体现了阿里集团的平台运营能力.于此同时,阿里云依托阿里巴巴集团在电子商务领域的经验积累,致力

中国的Palantir诞生,开启大数据关联挖掘的新时代

Palantir的名字可能很多人都还比较陌生,但要说在美国政府10年追捕本·拉登的行动中,大数据分析公司Palantir发挥了核心情报分析作用,抓住了本·拉登,相信大家就都有所耳闻了.Palantir与政府打交道,客户包括美国国家安全局(NSA).美国联邦调查局(FBI).美国中央情报局(CIA)和很多其他反恐和军事机构,也正因此Palantir也被称为美国最神秘的新创公司.外界对Palantir的了解一般仅限于其数据处理软件可用于打击恐怖分子和抓捕金融行业的犯罪分子. 如果,中国也拥有Pala

明略数据SCOPA发布 开启大数据关联挖掘的新时代

10月22日,明略数据战略产品发布会在中国大饭店隆重召开,同时也开启了基于数据关系挖掘的大数据智能分析新篇章.此次发布会吸引了众多明略数据的客户.合作伙伴及行业专业人士莅临到场.明略数据董事长吴明辉先生以及明略数据联合创始人冯是聪博士率领明略数据大数据科学家团队登台亮相,并与大家一起分享了挖掘复杂数据价值的技术.以人的思维导向实现数据洞察.明略数据全线大数据产品.行业领军客户合作成果以及未来对中国大数据产业的展望.本次发布会以"明万象·筑方略"为主题,发布会现场以数据系统的革命性产品S

大数据重塑能源系统,节能产业智能化新时代是否到来

大数据时代的来临已经被越来越多的人认可,据统计全球信息总量每两年约增长一倍,2011年全球创建和复制的数据总量有1.8ZB (1021 bits),预计http://www.aliyun.com/zixun/aggregation/33722.html">2020年将达到35ZB,是现在的50倍.大家都能够感觉到充斥在身边的庞大的无法消化的数据.但是对于大数据是什么?和我们有什么关系,大部分人都是只知其名不知其实. 按照IBM的4V理论,大数据是涵盖规模性.多样性.高速率和真实性四个维度的

Intel IDF2013:移动计算携手架构计算打造数据社会新时代

在今天的北京2013英特尔信息技术峰会上,英特尔公司全球副总裁兼系统软件事业部总经理费道明(Doug Fisher)以及英特尔公司首席技术官贾斯汀(Justin Rattner)发表主题演讲,探讨了英特尔如何推动计算现代化,为用户带来非凡的新体验.下面是这些主题演讲及其中披露新闻信息的概述. "移"叶"张"目识泰山 英特尔公司全球副总裁兼系统软件事业部总经理费道明(Doug Fisher)在IDF第二天做首场主题演讲,阐述推动产业发展的秘诀,为开发者揭示巨大的创新机

“造价通”服务建设行业转型 迈进大数据应用新时代

中国是一个"大步前进"的国家,在城市内的每个角落,无论楼宇的建筑工还是室内装潢的泥瓦工,你都能找到建设人的身影.作为我国国民经济的支柱产业,建筑行业的转型升级已经是不容回避的问题,信息化是企业提升竞争力.增进效益的助推器,是实现建筑业工业化和现代化的必由之路. 但建筑行业并非像互联网行业那样有着转型的"先天条件",由于几百年沿袭下来的历史习惯,信息化建设意味着重构产业链条,再加上劳动密集型的特征,建筑行业的转型之路似乎从一开始就预示着蜿蜒曲折,不太好走.中建普联造价