独家专访汪玉:不止是 DPU,深鉴要做 AI 解决方案提供商

对于在清华大学电子工程系担任副教授和党委副书记的汪玉来说,10 月 24 日是一个特别的日子。这一天,他以深鉴科技联合创始人的身份,参加了这家高科技创业公司成立以来的第一场公开发布会;而在这场发布会上,他的学生、也就是深鉴科技 CEO 姚颂,在介绍一些新产品之后,对外宣布了深鉴科技的新一轮融资。

右二为汪玉

这轮融资对于刚刚诞生不久却已经备受业界认可的深鉴科技来说,无疑是一个重要的发展时机;而在这一重要时间节点上,汪玉也接受了雷锋网的专访。

算法与硬件的协同优化

在这场发布会上,DPU 可能是从深鉴科技 CEO 姚颂口中出现次数最多的一个技术名词。

实际上 DPU(Deep Learning Processor Unit,深度学习处理器)是深鉴科技在投入于人工智能和深度学习大潮流之中时所选择的一个核心领域。之所以如此,是因为深鉴科技的几位联合创始人在创业之前就意识到,目前被深度学习算法训练广泛应用的 GPU,根本无法在应用层面同时满足高性能低功耗的需求。

“深度学习处理器一定要经过模型压缩、模型定点化、编译三大步骤,并且一定要拥有针对神经网络的专用结构”。在此情况下,汪玉决定带领团队从算法、软件、硬件协同的角度,来开发真正的深度学习处理器,也就是 DPU。

不过,对于深鉴科技 DPU 而言,一个核心的技术名词其实是深度压缩(Deep Compression)技术。

2016 年,在世界顶级的深度学习会议 ICLR 上,一篇以 Deep Compression:Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding 为标题的文章获得最佳论文奖。这篇论文的第一作者是斯坦福大学的博士生韩松,而韩松也正是深鉴科技的联合创始人之一。

韩松

在接受雷锋网的专访时,汪玉对深度压缩的技术原理进行了深入浅出的介绍:

我们讲究的是算法和硬件的协同优化,其中算法的优化体现在哪儿呢?举例来说,神经网络就像是一个数字矩阵,因为神经网络里面最关键的权重存的地方就是矩阵;压缩的概念就是把这个矩阵里面的好多地方都变成零,这样许多地方就不需要再计算,从而减少计算量。

通过深度压缩技术,不仅可以将神经网络压缩数十倍而不影响算法准确度,还可以使用“片上存储”来存储深度学习算法模型,减少内存读取,大幅度减少功耗。与此同时,基于优化的协同性,深度压缩技术对硬件本身也提出了新的要求。汪玉表示:

上层算法的压缩,对于底层的硬件来说也会有一个叠加加速的过程:当压缩程度特别高的时候,就不是一个稠密级的计算方式,在底层取数、做计算都不是稠密的,而是稀疏的,这就变成随机的访存过程。简单来说,变成稀疏化之后的神经网络,其所对应底层的硬件也是不一样的,所以这就是为什么我们还要做自有硬件结构的原因。

深度学习解决方案的提供者

汪玉这里所说的硬件架构,指的是深鉴科技此前已经推出的两个用于深度学习处理器的底层架构——亚里士多德架构和笛卡尔架构。

汪玉对雷锋网表示,亚里士多德架构是针对卷积神经网络(CNN),由于计算机视觉处理经常使用 CNN,所以亚里士多德架构一般用来处理图像相关的智能问题;后者针对的是全链接,由于语音相关的处理跟全链接的神经网络相关,这种神经网络主要就是用笛卡尔加购这样的结构来加速。

亚里士多德架构

笛卡尔架构

在发布会现场,深鉴科技也发布了数款基于上述两个硬件架构的 DPU 硬件产品。

首先在人脸识别方面,深鉴科技分别推出了 DP-1200-F01 人脸检测识别模组和 DP-2100-F16 人脸分析解决方案。前者的特点在于支持 18 帧的高帧率和 3 瓦的功耗,可以用在人脸识别相机等前端的产品上;后者主要应用于后端,单板卡可以支持 16 路 1080p 视频的实时识别,并且整体功耗是 30 瓦以下。

二者之外,深鉴科技又推出了视频结构化解决方案 DP-2100-O16,它可以做到 16 路 1080p 高清视频的实时视频结构化,可以做到人、车、非机动车的检测、跟踪和属性分析。

除了图像类应用,深鉴科技还推出了型号为 DP-S64 的语音识别加速方案。它支持全稀疏化的神经网络处理,单板卡最多可以支持 64 路用户同时的语音识别加速。在这种情况下基于稀疏的神经网络和模型压缩,可以让语音识别的延迟更短。

值得一提的是,这些集成了深鉴自己算法的 DPU 产品,都是基于世界第一大 FPGA 厂商赛灵思的 FPGA 芯片开发出来的。而深鉴科技在 FPGA 技术方面也有自己的开创之处;在 FPGA 2017 大会上,来自深鉴科技的《 ESE: Efficient Speech Recognition Engine with Sparse LSTM on FPGA 》被评为唯一的最佳论文。

然而,在底层硬件上,深鉴科技并不把完全局限于 FPGA,它在 ASIC 方面也有一定的计划。对此,汪玉表示:

FPGA 的好处是可以变,可以随时添加模块;如果需要改变架构,或者说核心架构迭代,都可以在 FPGA 里面很快地做迭代,所以能够在很短的时间内切入市场,提供与 GPU 相当乃至超过 GPU 的性能。但是 AISC 可以提供比 FPGA 再好十倍、也就是一个量级以上的潜力,所以在一些专用的领域(比如说手机芯片)AISC 在功耗和性能方面的表现是最好的,不过它的研发时间最长,从定下来设计的规格到设计出来是很长的时间。

不过,深鉴科技并不把自己看做是一个硬件公司,它更愿意把自己看成一个深度学习解决方案的提供者。因此在硬件的基础之上,深鉴科技又开发出面向上述 DPU 的深度神经网络开发套件 DNNDK(Deep Neural Network Development Kit)。对此,深鉴科技 CEO 姚颂表示深鉴科技的对标对象是世界上最火的 AI 公司之一英伟达,后者不仅仅提供硬件,还提供了一个整套的生态系统。

而 DNNDK 也是国内第一款专门为深度学习而开发的 SDK。

云与端一定是配合的

对于任何一个以技术为支撑的公司而言,如何面对市场实现技术的产品化,是一个不得不面对的商业问题;而大牛云集如深鉴科技,自然也毫不例外。

在当前的市场条件下,深鉴科技首先选择了对人脸识别要求较高的安防领域;实际上,上文中提到的两款人脸识别模块 DP-1200-F01 和 DP-2100-F16 以及可以实现视频结构化的 DP-2100 O16 等三款 DPU,正是深鉴科技已经面向市场推出的可应用产品。

不过显然,深鉴科技不会停留只在安防上。2017 年初,深鉴科技接受了来自赛灵思、联发科等行业领先者的数千万美元 A 轮融资;其中赛灵思作为全球第一大 FPGA 厂商,为深鉴科技提供的不仅仅是资金和技术支持,更是诸多潜在的客户资源和海外市场机会。同样地,联发科在智能手机、家庭、汽车电子等领域的深厚积累,对深鉴科技也不无用处。

而在 10 月 24 日宣布的 A+ 轮 4000 万美元融资中,三星和蚂蚁金服都有所参与。对此,深鉴科技表示,蚂蚁金服会帮助深鉴开拓包括金融在内的更多应用场景;与三星之间则侧重于存储等方面的合作。然而,在回答雷锋网(公众号:雷锋网)关于三星投资的问题时,汪玉却透露了这样一个消息:

三星的投资最开始发起是存储部门,后来它们的多媒体和智能手机部门都对我们很感兴趣,但是现在还没有办法对外披露到底我们进展到哪一步了。

雷锋网之所以对这个消息感兴趣,是因为在发布会进行过程中,深鉴科技展示了一组将自家基于 FPGA 的 Aristotle 加速器与苹果 A11 和华为麒麟 970 进行对比的数据。数据显示,在三个产品分别面向 GoogleNet-V3、ResNet-50 和 VGG 16 三种神经网络结构进行对比时,Aristotle 加速器的效用率皆超过了 50%,并高于对手一大截。

另外,在发布会的结束,深鉴科技又宣布了一款名为“听涛”的 SoC;它采用了台积电 28nm 制程工艺和 DP4096 Aristotle 核心,功率为 1.1 瓦,能够达到 4.1 T 的峰值性能。当雷锋网问道这个芯片是否有希望用于智能手机移动端时,汪玉表示:

有希望。“听涛”的功率大概在 1.1 瓦,性能为几个 T;这个芯片可以裁剪到适合更低功耗的场景,比如说 IOT。目前 IOT 是在 100 毫瓦以下,智能手机里面是 100 到 500 毫瓦,在安防里面我们希望它是 1 瓦。芯片所能做到的每瓦的计算力是一致的,这个不会有太大的变化;在具体场景中,只是把这个“盒”里面的 PE 进行裁取,就可以用在更低功耗的场景。

关于深度学习、神经网络等技术在智能手机移动端的未来发展,汪玉也表达了自己的看法:

我觉得智能手机里面做深度学习的应用肯定会特别特别多,这是肯定的;一般苹果是在智能手机领域引领潮流,它既然做这件事情,肯定是思考了很多才慢慢开始布局。但是我觉得智能手机里面提供的计算力是一定是有限的;真正要去做到很精细的对于场景的理解或分析等,还是需要更大的计算力,所以行业里经常会把一些东西传到云端再做更细致的分析。以后云和端一定是配合的,我倒不觉得这是完全限制在手机里。

本文作者:308

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-10-31 11:40:36

独家专访汪玉:不止是 DPU,深鉴要做 AI 解决方案提供商的相关文章

国家行政学院教授汪玉凯:断网删帖不可取

中介交易 SEO诊断 淘宝客 云主机 技术大厅 本报记者 白皓 3.3亿微博用户改变着什么 一场关于政务微博的讨论,始终贯穿着第二届网络问政与舆情监测高峰论坛. 这场9月21日在贵州省贵阳市举行的论坛中,3.3亿微博用户成了各方关注的焦点.这些微博用户对政府管理已经产生深刻影响,是与会者的一个共识. 工业和信息化部电信管理局公布的数据称,截至到2012年6月底,我国网民数量达到5.38亿人.中国行政体制改革研究会副会长.国家行政学院电子政务专家委员会副主任汪玉凯教授称,到2010年年底,我国的微

专访深鉴CEO姚颂:把芯片的专用和通用看作两极,那么中间任何位置都可有所作为

全球最大存储器厂商(三星)和全球最大Fintech独角兽(蚂蚁金服)的加持对这家成立不到两年的初创公司意味深长. 昨天,深鉴科技召开了成立以来的第一次新品发布会,正式宣布已完成约4000万美金的A+轮融资.本轮融资由蚂蚁金服与三星风投领投,招商局创投与华创资本跟投.深鉴科技创始人.CEO 姚颂表示,本次融资将继续用于安防.数据中心领域及后续芯片产品的开发.深鉴与三星将展开包括存储在内的多方面合作.而蚂蚁金服的战略资源注入,将帮助深鉴进一步开拓包括金融在内的更多应用场景,而关于金融领域的进一步布局

独家专访段奕宏:没奖不觉《团长》输给他人

段奕宏 腾讯娱乐讯 在刚刚结束的上海电视节上,之前呼声很高的段奕宏最终没能如愿拿下白玉兰奖最佳男演员,由他领衔的<我的团长我的团>也败走白玉兰,让我们很是意外.在出席一个颁奖礼的现场,段奕宏接受我们独家专访时表示拿不拿奖看缘分,没奖不等于你不行,对于<团长>的遗憾他强调我们没有输给任何,那172天的点滴会影响我一辈子的. 拿奖与否<团长>都是成功的 在上海电视节白玉兰颁奖礼上,不但段奕宏自己在最佳男演员奖项上败给了另外一个大热孙红雷,就连<团长>最后也惨败收

独家专访光纤之父高锟及其夫人黄美芸

独家专访"光纤之父"高锟及其夫人黄美芸--迟到的诺贝尔物理学奖 这位继杨振宁.朱棣文等之后,第七位获诺贝尔奖的华人科学家,由于43年前在英国主持发明的光导纤维,成为今年诺贝尔物理学奖的三名得主之一.可惜殊荣到来之时,他罹患老年痴呆症至少已经5年.近日,他在瑞典首都斯德哥尔摩接受了<外滩画报>独家专访. 文/图 刘旭阳 发自斯德哥尔摩 "目前,没有其他物质可以代替光纤.我认为,如果有,起码要一千年之后.但是,请不要相信我说的话,因为我自己就从来都不相信什么专家的话.

独家专访施振荣:如何再造宏碁

摘要: 在PC业务遇到困难时,宏碁创始人施振荣选择了戴尔.联想曾经走过的一条路:创始人复出挽救公司.2013年11月,接近70岁高龄的施振荣重新出山,担任宏碁集团董事长.CEO和总裁.时隔 在PC业务遇到困难时,宏碁创始人施振荣选择了戴尔.联想曾经走过的一条路:创始人复出挽救公司.2013年11月,接近70岁高龄的施振荣重新出山,担任宏碁集团董事长.CEO和总裁.时隔半年,施振荣提出将卸任董事长一职,转任首席云架构师,那么,在过去的半年时间内,施振荣给了宏碁哪些变化?这位中国台湾的IT教父打算如

因时而动 顺势而为——广告人独家专访快友股份CEO林森

中国移动互联网广告平台从起源到蓬勃发展的今天,也不过9年的时间,手机浏览器在推动移动互联网应用驶入发展快车道的同时,作为基础平台占据了移动互联网发展的战略制高点.在这9年的时间里,行业发生翻天覆地的变化,多少企业像雨后春笋般涌出,又瞬间销声匿迹,能坚持下来的,多是方向和战略部署有先知先觉的企业,快友股份便是其中一个. 因时而动 顺势而为--广告人独家专访快友股份CEO林森 责任编辑:xfuesx |  2016-09-22 16:01:59 本文摘自:中国网 中国移动互联网广告平台从起源到蓬勃发

清华量子计算大师应明生独家专访:AI未来一定会以新的形式重生

近年来,人工智能和量子计算两大领域双双被人们寄予厚望,特别是被国人当成是"超英赶美".弯道超车的两大历史机遇.量子计算机是指利用量子相干叠加原理,量子比特的独特属性使量子计算机在处理一些运算的时候速度更快,理论上具有超快的并行计算和模拟能力的计算机.量子计算机代表着突破被纳米层面限制的摩尔定律,意味着巨大的计算力潜能.曾有人打过一个比方:如果现在传统计算机的速度是自行车,量子计算机的速度就好比飞机. 计算力正是AI三大法宝之一.现有计算机已经能够支持AlphaGo这样的"围棋

独家专访柳传志:复出百日对联想更有信心

图为联想集团董事局主席.联想控股总裁柳传志接受新浪科技独家专访 6月25日上午,复出一百多天的联想集团董事局主席柳传志,接受了新浪科技独家专访,分享了他上任以来的感受.在联想集团从事的具体工作,他表示,复出后他对联想的未来"信心更充分". 柳传志重掌联想集团的四件事 不管战略 如同迈克尔·戴尔.乔布斯,在公司危难时刻,作为创始人,重新出山,总是引来外界特别的关注,柳传志亦是如此. 淡出联想集团多年.早已不管PC业务的柳传志,如今重新担任董事长,他为联想制订的战略是否一定正确,外界为之心

独家专访本山传媒副总裁刘流:开辟春晚外渠道

刘流,既是一位优秀的演员,也是一位成功的企业管理者 赵本山的春晚之路还会有几个二十年?这个答案或许连赵本山本人也无法回答.春晚的压力之大,非常人能理解.宋丹丹曾发出"除非春晚给我判刑,要不死活不上了"的言论,以表不上春晚的决心.事实上,赵本山对上春晚的"抗压"情绪并不比宋丹丹轻松,2008年与宋丹丹合作完<火炬手>后,已是满头白发的赵本山就在春晚后台哭了,因为"那个节目太累人,又太过正经".而同样是在春晚后台,2009年<不差钱