研究人员将类似深度学习的技术扩展到更多计算机和新型的处理器上

【编者按】随着人工智能技术的发展,各大科技公司都加大在深度学习上的投入,而作为美国国家科学基金会也同样如此,当下,它通过资助美国几所大学的研究人员,促进深度学习算法在FPGA和超级计算机上运行。虽然目前看到的还只是代表了深度学习的一个趋势,但是随着各大科技公司的商业运营以及更多的深度学习走进大学研究中心以及国家实验室,对深度学习的发展起到积极的促进作用。

以下为原文:

机器学习在过去的几年里取得了很大的进步,在很大程度上归功于计算密集型工作负载扩展新技术的发展。NSF最新的资助项目似乎暗示我们看到的可能只是冰山一角,因为研究人员试图将类似深度学习的技术扩展到更多的计算机和新型的处理器上。

由纽约州立大学石溪分校团队实施的一个特别有趣项目,该项目旨在证明FPGA(现场可编程门阵列)优于GPU,他们发现深度学习算法在FPGA上能够更快、更有效地运行,这突破了当前传统的认识。

根据项目概要:

研究人员预计在GPU上算法的最慢部分,运行在FPGA上将实现明显的加速,同时,在GPU上算法最快的部分在FPGA上将有类似的运行性能,但是功耗会极低。

实际上,除了不同于GPU,在硬件上运行这些模型想法并不新奇,例如,IBM最近凭借一个新的brain-inspired芯片轰动一时,它声称可以完美支持神经网络和其他cognitive-inspired工作负载。微软在今年7月演示了它的Adam项目,这个项目是重新修改了一个流行的深度学习技术使其在通用英特尔 CPU处理器上运行。

由于其可定制的特点,FPGA有着独特的优势,今年6月,微软解释它如何通过卸载某些进程部分到FPGA来加快Bing搜索。当月晚些时候,在Gigaom的Structure大会上,英特尔宣布即将推出的混合芯片架构将FPGA在CPU共置在一起(实际上它们会共享内存),这主要针对专业大数据负载与微软必应这样的案例。

然而,FPGA对于深度学习模型来说并不是唯一的、潜在的基础架构选择。NSF还资助纽约大学的研究人员,让他们通过基于以太网远程直接内存访问技术来测试深度学习算法以及其他工作负载,这在超级计算机上广泛使用,但现在要将它带到企业系统,RDMA连接器通过直接发送消息到内存,避免了CPU、交换机和其他组件给进程带来的延迟,从而加快计算机之间传输数据速度。

说到超级计算机,另一个新的NSF资助项目,由机器学习专家斯坦福大学(百度和Coursera)的Andrew Ng和超级计算机专家田纳西大学的Jack Dongarra以及印第安纳大学的Geoffrey Fox领导,旨在使深度学习模型利用Python可编程,并且将它带到超级计算机和扩展云系统。据悉,这个得到了NSF将近100万美元的资助的项目被称为Rapid Python Deep Learning Infrastructure。

RaPyDLI将被构建成一套开源的模块,可以从Python用户界面访问,但是可以放心地在最大规模超级计算机或云的C / C++或Java环境中通过互动分析和可视化执行。RaPyDLI将支持GPU加速器和英特尔Phi协处理器以及广泛的存储技术包括Files、NoSQL、HDFS和数据库。

目前做的所有工作都是让深入学习算法更容易并且改善它们的性能,这三个项目只是一小部分,但是如果这些技术能够被科技巨头用到商业领域,或者进入研究中心以及国家实验室利用计算机解决真正的复杂问题将是非常有益的。

原文链接: Researchers hope deep learning algorithms can run on FPGAs and supercomputers (编译/魏伟 审校/仲浩)

免费订阅“CSDN云计算(左)和CSDN大数据(右)”微信公众号,实时掌握第一手云中消息,了解最新的大数据进展!

CSDN发布虚拟化、Docker、OpenStack、CloudStack、数据中心等相关云计算资讯,     分享Hadoop、Spark、NoSQL/NewSQL、HBase、Impala、内存计算、流计算、机器学习和智能算法等相关大数据观点,提供云计算和大数据技术、平台、实践和产业信息等服务。

时间: 2024-08-31 19:14:15

研究人员将类似深度学习的技术扩展到更多计算机和新型的处理器上的相关文章

老师木讲架构:深度学习平台技术演进

2017年12月22日,袁进辉(老师木)代表OneFlow团队在全球互联网架构大会上海站做了<深度学习平台技术演进>的报告,小编对报告内容作简要梳理注解,以飨读者. 此次报告的主要观点为:(1)计算力是神经网络/深度学习复兴的最大推动力之一:(2)面对深度学习的计算力挑战,软件至少和硬件一样地关键,单靠硬件无法提供易用性和扩展性:(3)鉴于深度学习上层业务和底层硬件的独特性,传统大数据平台里的某些技术未必再对深度学习平台适用:(4)深度学习软件平台技术在快速演进中,一部分早期被采用的技术正在被

大规模深度学习优化技术在PAI平台中的应用及实践

1. 前言 自2012年Deep Learning的代表模型AlexNet在ImageNet大赛中力压亚军,以超过10个百分点的绝对优势夺得头筹之后,依托于建模技术的进步.硬件计算能力的提升.优化技术的进步以及海量数据的累积,Deep Learning在语音.图像以及文本等多个领域不断推进,相较于传统作法取得了显著的效果提升.   工业界和学术界也先后推出了用于Deep Learning建模用途的开源工具和框架,包括Caffe.Theano.Torch.MXNet.TensorFlow.Chai

Nvidia旨在培训100000名开发人员学习深度学习AI技术

Nvidia表示计划通过Deep Learning Institute培训10万名开发人员. 对于Nvidia来说,Deep Learning Institute致力于培养机器学习和人工智能的开发人员,是一种能够创造最终产生更多GPU销售的专业知识的一种方法. IDC估计Nvidia的打算是,到2020年,所有应用程序的80%将拥有人工智能组件. Nvidia的Deep Learning Institute于一年前推出,并在学术机构.公司和政府机构举办了培训活动.到目前为止,Nvidia已经培训

华盛顿邮报:中国AI研究领先世界,深度学习论文数量及质量居第一

据<华盛顿邮报报道>,人类距离造出有自我意识的人工智能可能还有很长的路要走.但随着智能手机以及其他设备中机器学习服务的兴起,一种狭义的.专门的AI已经非常流行.这一分支的AI研究也正在加速.   事实上,随着越来越多的行业和政策制定者从机器学习中得到受益,有两个国家似乎在AI研究的"军备竞赛"中走在前列.这可能对AI的未来有重大影响.   "深度学习"是机器学习的一个分支,机器学习则是AI的分支--涉及使用计算机算法执行模式识别和分析.例如,深度学习可以

百度将 HPC 技术引入深度学习;卡巴斯基操作系统;AMD Ryzen 预售等 | AI 开发者头条

百度将 Ring Allreduce 算法引入深度学习 Ring Allreduce 本是 HPC (高性能计算)领域的一项技术.日前,百度硅谷 AI 实验室已成功将其移植到深度学习平台,借此来加速 GPU 之间的数据传输速率.目前,在 GPU 并行计算中,它们之间的通信瓶颈是制约深度学习模型训练速度的主要障碍之一.百度宣布,Ring Allreduce 算法的引入将移除该瓶颈,大幅提升多 GPU 和分布式计算环境下的深度学习模型运算效率.雷锋网获得消息,该技术已被百度成功应用于语音识别. 该算

基于深度学习的智能问答

作者:周小强 陈清财 曾华军 1引言 纵观自动问答系统的技术发展历史,从1950年代因图灵测试而诞生至今,已经有几十年的历史.但真正在产业界得到大家的广泛关注,则得益于2011年Siri和Watson成功所带来的示范效应.自此,自动问答系统较以往任何时候都显得离实际应用更近.这一方面归功于机器学习与自然语言处理技术的长足进步,另一方面得益于维基百科等大规模知识库以及海量网络信息的出现.然而,现有的自动问答系统所面临的问题远没有完全解决.事实上,无论是业界应用还是学术研究,问句的真实意图分析.问句

【重磅】Bengio 出山建立深度学习孵化器,寄语中国人工智能产业(附新智元独家专访视频)

Bengio 创建深度学习孵化器,试图打造 AI 生态圈 Yoshua Bengio,这位深度学习崛起背后的领军人物,成立了一个专注人工智能的硅谷式创业孵化器. 这个创业孵化器名为 Element AI,将帮助蒙特利尔大学(Bengio 是该大学的教授)和附近的 McGill 大学 AI 研究团队成立公司.Bengio 说,这只是他在蒙特利尔建立"AI生态圈"计划的一部分.Bengio 表示,蒙特利尔对深度学习的学术研究有着"全世界最多的关注",在这里孕育的 AI

复杂的中国驾驶场景,正是深度学习的优势

导读 深度学习十分适合高度复杂场景下的自动驾驶应用,尤其与增强学习相配合,能让从感知到执行的过程变得简单. 谷歌和李世石的人机大战引爆了公众对于人工智能的关注,也让基于深度学习的人工智能成为汽车业界关注的重点,那么深度学习在智能驾驶的应用场景下有什么帮助呢? 自动驾驶最先出现在美国,而不是欧洲或者日本,更不是中国,非常关键的一个原因在于,美国的驾驶环境相对于其它地区而言,是最简单的,无论是道路情况还是驾驶习惯.这就意味着,开发一个自动驾驶原型产品的技术难度可以大大降低. 这种高度复杂的场景很难用

深度学习的效果为何如此惊人?看看全息理论怎么说

更多深度文章,请关注: https://yq.aliyun.com/cloud 作者简介:Carlos E. Perez,Intuition Machine编辑,专注于深度学习模式.方法与策略,个人主页:https://medium.com/@IntuitMachine 今天,我想和大家谈谈全息理论以及如何应用全息理论的概念来解析深度学习.全息理论是一门学说(详见:现实的薄片),它解释了量子力学与重力间的相互作用是如何构成我们身处的现实生活的.这门学说的产生受到了霍金悖论的启发.霍金在推断黑洞是