当计算停留着网格内 Mellanox用智能网络助跑AI

随着大数据、人工智能和高性能计算的热度不断升温,Mellanox的身影开始出现在越来越多的场合中,其高性能网络被越来越多的用户采用。不论是国外的微软、IBM、Facebook,还是国内的腾讯、阿里巴巴、百度、京东等大型互联网企业均选择Mellanox以太网或InfiniBand网络搭建高性能的IT系统平台。

作为RDMA(远程直接内存访问)技术的推动者,Mellanox一直以提供出色性能的网络著称,50%以上的HPC系统和主流人工智能公司均采用其RDMA网络(包括InfiniBand和RoCE)。近日由国际高性能计算咨询委员会主办的第五届大学生RDMA编程挑战赛落幕,作为重要的支持企业,Mellanox在接受至顶网采访时重申了RDMA的魅力以及Mellanox网络被越来越多用户青睐的原因。

当计算停留在网格内

熟悉了TCP/IP的人也许对RDMA感到陌生,其实RDMA作为一种零复制网络技术使网卡可以直接与应用内存相互传输数据,并且应用程序可以访问远程内存,而不占用CPU资源。InfiniBand则是最早实现RDMA的网络协议,被广泛应用到高性能计算中。除此外,RDMA的实现方式还包括RoCE和iWARP。近期,阿里巴巴和百度相继采用Mellanox
RDMA以太网(RoCE)构建高性能系统。

Mellanox亚太及中国区市场开发高级总监刘通

Mellanox亚太及中国区市场开发高级总监刘通表示,RDMA是解决人工智能时代数据传输瓶颈的最高效网络传输协议。无论是传统的高性能计算应用还是新兴的深度学习框架,RDMA通信方式都是其中的关键环节。

Mellanox公司市场部副总裁Gilad Shainer

RDMA所代表的技术体系是CPU卸载,Mellanox公司市场部副总裁Gilad Shainer指出,这也将是未来云发展的趋势,即让计算更靠近数据,数据在网卡里完成计算,Mellanox称其为网络内计算(In-Network Computing)。

2年前,Mellanox收购EZchip半导体公司,融合了其ARM
CPU技术,加之Mellanox自己的网络芯片,从而把两者整合起来推出一款新的智能网卡为BlueField。“让网络具备计算能力和强大的数据处理能力,无论是加了FPGA还是加ARM
CPU,总之这个网卡自己就会处理很多数据。”Gilad
Shainer表示,数据一到网卡就已经处理完毕,而不必再经过PCIe到CPU,从而提升数据的运算效率,这就是BlueField所具备的能力。

如果说此前,Mellanox所倡导的“网络计算一部分数据、CPU计算一部分数据”,代表了Mellanox的CPU卸载技术理念,那么网络内计算则更近了一步,即让网络完成了大部分计算。Mellanox认为这种智能网卡将成为未来云计算中心的发展趋势。

Gilad Shainer说到智能网卡几个典型的应用领域,比如高速存储,利用NVMe over
Fabrics的存储资源池化解决方案,Mellanox智能网卡可以卸载很多NVMe的通讯协议,从而构建大型存储资源池,实现更低的延迟和更高的性能,满足用户对高性能存储的需求。

智能网卡应用在安全场景也将是其施展拳脚的另一大领域,“把CPU上做的安全算法移到高速网络上面去,让智能网卡做安全,它的安全控制力更强。也就是当数据到网卡这一层,其中恶意流量就已经被拦截。BlueField上面有ARM
CPU,可以编程一些复杂的安全算法。”Gilad Shainer说。

在Mellanox看来,智能网卡会在云计算中心大有用武之地,Mellanox的网络无论是性能还是卸载能力,再加上ARM芯片,两者结合起来会让BlueField在云市场十分具有竞争力。

Mellanox InfiniBand不是贵的代名词

很多人提到RDMA,可能会给它加上“昂贵”的标签。说到这,就不得不提英特尔的Omni-Path,近年来英特尔对Omni-Path进行大力推广,其提到的关键词就是“质优价廉”,特别是和Mellanox相比。不过Gilad

Shainer却不认同,他用现实案例向记者介绍Mellanox的InfiniBand最终成为用户的选择,即使很多用户曾经选择过Omni-Path。他以BP英国石油举例,去年BP采购1000节点的集群,其中700台为Mellanox

InfiniBand网络,300台为英特尔Omni-Path网络。但是经过1年的试用,今年再采购新系统时,BP已经完全不考虑Omni-Path了,而是变成完全采用InfiniBand。

“因为BP测试出,Mellanox网络的系统性能是Omni-Path的2.5倍,这就意味着它其实完全没必要花那么多钱去买那么多的CPU。完成同样的任务,Mellanox的InfiniBand对它来讲整套系统部署的成本更低,而不是单独去考虑网络本身的价格。”在Gilad
Shainer看来,用户是很聪明的,他考虑的是整体的投资回报值不值得,所以最后BP切回InfiniBand,其实是省了总体成本。

不过,在性能方面,英特尔和Mellanox却是各说各话,英特尔说它的网络性能跟Mellanox的网络是一样甚至超越后者,所以价格更便宜。不过Mellanox一直回击,Gilad
Shainer指出,“英特尔讲到的网络的性能跟我们差不多、价格更便宜,但是其所对比的Mellanox性能都远低于我们自己测试的性能。”

“拿实际应用程序的性能做一个基本的标杆进行对比,我们的性能会在8个节点到16个节点超出Omni-Path
40%、50%、70%甚至翻倍,所以这是非常大的区别。”Gilad
Shainer说,简单比较带宽、延迟,双方也许差不多,但是如果真的拿应用程序比,我们的优势还是非常非常明显的,这是Mellanox向市场传达的声音。

Gilad Shainer甚至说,如果只是简单地看Linpack测试对用户来讲都是一种误导,只有跑在不同类型的应用程序上,数据才有价值。

当然,各种测试和数据也许搞得用户有点懵,不过Mellanox倒是希望用户拿去做实际应用程序测试,能够正确使用最优化的MPI,比如Mellanox 提供的HPC-X MPI。Mellanox会免费提供产品和技术支持。

小结

实际上抛开产品竞争的因素不说,今天的市场给了以Mellanox为代表的智能网络企业非常大的机遇。人工智能发展到今天,计算力是重要的驱动力,

AI既然对计算的要求高,必然是Mellanox发挥重要价值的一个用武之地。实际上,目前已有大量先进的深度学习框架(如TensorFlow、Caffe2、Microsoft
Cognitive Toolkit 和百度
PaddlePaddle)借助Mellanox的智能卸载功能,为多台人工智能服务器提供世界领先的性能和近线性扩展能力。

随着未来人工智能在云上大量应用,那就意味着高性能的网络会在AI云上大量被采用,这对于Mellanox及智能网络技术都是一个全新的机会。

原文发布时间为:2017年11月7日

本文作者:陈广成

时间: 2024-12-23 04:39:59

当计算停留着网格内 Mellanox用智能网络助跑AI的相关文章

计算一段日期内的周末天数的php代码(星期六,星期日总和)_php技巧

复制代码 代码如下: /* | Author: Yang Yu <niceses@gmail.com> | @param char|int $start_date 一个有效的日期格式,例如:20091016,2009-10-16 | @param char|int $end_date 同上 | @return 给定日期之间的周末天数 */ function get_weekend_days($start_date,$end_date){ if (strtotime($start_date) &

算法:求n*m网格内矩形的数目

一个n*m的网格,求这个网格中矩形的数目. 比如以下2*2网格,总共有9个矩形:4个1*1的矩形,4个1*2的矩形,1个2*2的矩形 算法1:动态规划,假设dp[i][j]表示以第 i 行第 j 列的格子为右下角顶点的矩形数目,那么dp[i][j] = 1 + dp[i-1][j] + dp[i][j-1] – dp[i-1][j-1] , 这里的1表示i ,j 位置的格子自身构成1*1的矩形,之所以减去dp[i-1][j-1], 因为dp[i-1][j] 和 dp[i][j-1] 都包含了dp

阿里iDST视觉计算负责人华先胜:算法和数据并非AI公司成功的全部

雷锋网按:本文根据2月27日阿里云视觉计算团队负责人华先胜的视频采访整理而来. 华先胜,北京大学应用数学博士.IEEE Fellow.ACM2015年度杰出科学家.MIT TR全球35位35岁以下的杰出青年创新人物,曾担任ACM Multimedia等大会程序委员会主席,是视觉识别和搜索领域的国际级权威学者.于2016年7月加入阿里云人工智能研究机构iDST科学家团队,带领阿里云视觉计算团队的研发工作. 问:阿里云视觉计算团队,目前有哪些突破性新进展? 我在2015年加入阿里,之前在微软待了14

钱德沛教授:云计算和网格计算差别何在

本文讲的是钱德沛教授:云计算和网格计算差别何在,[IT168 资讯]北京航空航天大学钱德沛教授介绍了自己关于云计算的看法,并分析了云计算与网格计算.Web计算等的差异,并提出云计算应该与网格计算结合.取长补短. 云计算与网格计算的概念 首先,究竟什么是云计算(Cloud Computing)呢?钱教授指出,云就是互联网--做网络的似乎总是把网络抽象成云:云计算就是利用在Internet中可用的计算系统,能够支持互联网各类应用的系统.云计算是以第三方拥有的机制提供服务,为了完成功能,用户只关心需要

SOA、网格计算、云计算与P2P技术

1.面向服务的体系结构SOA 1)定义:Service-Oriented Architecture,一种应用的体系结构,其中所有的功能都定义为独立的具有可调用的接口的服务.这些服务可以在一个流程中被调用从而完成相应的商业处理过程.服务可以位于同一个应用,也可以位于不同的进程,甚至可以在远程.业务逻辑(business logic)或独立功能被模块化,并作为服务呈现给消费者或客户端.应用开发人员或者系统集成者可以通过组合一个或多个服务来构建应用,而无须理解服务的底层实现. SOA的核心就是找到将软

数据处理-分布式计算.网格计算.云计算.透明计算.并行计算

问题描述 分布式计算.网格计算.云计算.透明计算.并行计算 分布式计算.网格计算.云计算.透明计算.并行计算.这个计算怎么理解,计算是数据处理吗,那这个数据处理和编程等程序设计是什么关系 具体说一下编程和这些计算是什么关系,望高手详解,复制粘贴就算了. 解决方案 这里的计算其实就是生硬地把computing翻译过来,并没有什么实际的意义.和中文构词不同,英文使用单词,你总不能说distributed grid cloud--你必须通过一个单词连接在后面表示它是属于计算机的词汇. 仅此而已,和编程

CSS3 Grid布局:CSS3网格布局让内容优先

文章简介:使用CSS3 Grid布局实现内容优先. 浏览器支持许多CSS3的模块,帮助我们解决我们习惯于使用图片的CSS效果.崛起的移动浏览器和响应式网页设计概念给了我们一个全新的方式来来看待Web设计.然而,当它们来临的时候,我们的布局还没有跟上.我们已经讨论了多年的源顺序.内容也结构和内容与样式的分离.然而,为了得到一定的视觉布局,我们大多数不得不决定源秩序. 目前,W3C在制作一些一趣的规范,虽然这些规范会不断的变化,但他们总是在一个起跑线上变动.在这篇文章中,我将向大家介绍CSS的一个模

CSS3网格布局模块:网格布局实现网页布局

文章简介:CSS3网格布局模块的一个任务是帮助我们处理非常简单和清晰的任何web-imposer(不仅),很有可能是一个内容块在一个虚拟的网络位置. 前言 在我看来,CSS3模块家族中,CSS3网格布局模块是最有趣的一个.W3C官网自发布草案到今天不到一年时间.有一点必须注意,早在2007年 宣布的WD版本中,有些名称和语法有一些变化,但是他们具有相同的本质.今天模块正在前速向前,在IE10中已经初步实现,希望新的特性在将来能得到支持以及其他流行浏览器也将支持这个模块. 为什么我们需要网格布局?

JavaScript实现拖拽元素对齐到网格(每次移动固定距离)_javascript技巧

这几天在做一个拖拽元素的附加功能,就是对齐到网格,实际上就是确定好元素的初始位置,然后拖拽元素时,每次移动固定的距离.让元素都可以在网格内对齐.先上效果图,然后在详细说明一下细节问题 做了一个gif图,可以看到,每次元素的移动都是按照最小单位距离移动的.且每次元素都是对齐到网格的. 先根据demo说明一下思路和细节,后面会给出demo代码. 1. 确定元素的每次移动的最小单位(demo中为10px和10px),也就是每次水平或垂直的位移量都是10px.铺上一层网格背景是为了帮助我们更好的看到效果