【更正】ISCA2016:计算机体系结构顶会CNN走红,神经网络论文夺桂冠

ISCA(The International Symposium on Computer Architecture)是计算机体系结构领域的顶级会议。自1973年创办以来,迄今已经举办了 43 届(1974 年空缺)。

今年的 ISCA 于 6 月 18 日至 22 日在韩国首尔召开,这次会议有近 800 名来自世界各地的工业界和学术界的专家学者参加,在参会人数上创下历史新高。本届会议共收到了 291 篇投稿论文,最终录用了 57 篇,接收率为19.6%。

ISCA的“C”成了CNN的C

值得一提的是,在最终录用的 57 篇论文中,有 9 篇论文(3个Session)与神经网络密切相关,以至于有不少参会者开玩笑说,今年 ISCA 是 International Symposium on CNN Architecture,而不是传统意义上的 International Symposium on Computer Architecture。

总体来看,神经网络和深度学习已经成为近年来体系结构领域的研究热点,在体系结构相关的顶级会议(如ISCA、MICRO、HPCA、ASPLOS)中,涌现了一批以深度学习为代表的应用驱动研究成果。

下图简单汇总了近年来发表在这四个顶级会议上的神经网络相关的论文(不含MICRO2016),可见神经网络加速器和处理器研究方向的迅猛发展。基于上述结果和分析,我们有理由相信,神经网络相关的处理器和硬件系统将很快应用于目前主流的机器学习框架中。


根据UCSB谢源教授课题组神经网络架构研究团队王超博士统计,近年来在四大顶级体系结构会议上,与深度学习有关的文章数量增长迅速。

Architecture 2030:未来计算机架构设计的趋势

大会的前一天,举办了一个 Architecture 2030 Workshop , 其主要目的是探讨在未来15年计算机架构研究的机会和挑战。上午的 Keynote 斯坦福的 Philip Wong 谈了新技术对硬件架构研究的影响,而下午的 Keynote 则是由 CMU 的 Kayvon Fatahalian 谈新的应用对硬件架构研究的需求和影响。

UCSB的谢源教授在这个workshop中,总结了过去 25 年 ISCA 会议研究趋势,并指出未来架构研究将从传统的CPU设计转向更多的 Top-down Application-driven ,比如针对机器学习、大数据应用的硬件加速架构研究,以及 Bottom-up Technology-driven,比如研究新型存储器件和3D堆叠技术对架构设计的影响。

正式大会的第一个特邀主题报告,是由微软研究院的 Doug Carmean 做的关于量子计算的演讲。Doug 本人曾经是 Intel Fellow,主持设计了 Intel Xeon Phi 系列的 CPU。最近,谷歌发布的 TPU,设计者 Norm Jouppi 也是在惠普实验室做了20多年的硬件架构设计,于2013年9月加入谷歌团队,秘密进行TPU的研发。传统的软件公司比如微软和谷歌,从传统的硬件公司挖人,进行非传统的硬件架构设计(比如量子计算和TPU设计),也许是最近的一个有意思的趋势。

另外,法国的Olivier Temam在2010年的ISCA会议上做了题为 The rebirth of neural networks 的 Keynote Speech 后,针对神经网络的处理器设计迅速成为 ISCA 最关注的研究方向之一。而 Olivier 之后也被谷歌高薪聘请,帮助在这方面的研究。不知道这次关于量子计算的特邀报告是否能起到类似的作用,促进在这个方向上的研究投入。

大会的第二个主题报告是 SK Hynix 的执行副总裁 Seok-Hee Lee 关于存储技术的报告。由于CPU/GPU计算能力的迅速增长,未来系统性能的提高遇到了“存储墙”(Memory Wall)的瓶颈,使存储技术在计算机体系架构的重要性越来越高。除了继续研究基于传统的SRAM和DRAM的存储架构,新型存储技术,比如非易失性存储(Non-volatile Memory)的研究越来越受学术界和工业界的重视。这次大会57篇论文中,大约20篇都与Memory相关。

华人研究员崛起

ISCA作为计算机系统结构领域的顶级学术会议,截至2007年,中国大陆科研机构在历届ISCA上只发表过三篇第一作者文章(1981年两篇和1993年一篇),其中两篇文章的作者是中科院院士(高庆狮、夏培肃),从这一侧面也可见其难度与声誉。

从2007年开始,中国大陆学者在ISCA这个会议上取得了不少突破。首先是国防科大在2007年的突破,然后复旦陈海波研究组在2008年更进一步(他到交大后又于2015发表文章),而中科院计算所的几个研究小组在2010年后表现尤为突出,包括陈云霁、陈天石研究组(2010,2014,2015,2016),韩银和研究组(2010,2011),国重编译团队刘磊等(2014)【此处已更改】。最近几年,几名海归青年学者也带来了突破:从哈佛大学博士毕业回到上海交大的梁晓峣研究组(2013),从佛罗里达大学博士毕业回到上海交大的李超研究组(2015,2016),以及从宾夕法尼亚州立大学博士毕业回到北京大学的孙广宇研究组(2015)。


ISCA2016中科院陈云霁团队相关报告

而且,本次ISCA大会的57篇文章中,除了中科院陈云霁、陈天石研究组和上海交大李超研究组的两篇大陆科研机构的文章,有21篇的第一作者是华裔学生,显示出华人研究人员在未来体系结构研究领域的实力。ISCA会议还有一个名人堂(ISCA Hall of Fame), 列出了1973年以来在ISCA上发表超过8篇论文的作者名单,包括近80名研究人员,目前华裔研究人员极少。但根据近10年的趋势,可以预计不远的将来会有更多华人上榜。

华为派出了近40名研究人员参加这次大会,包括华为香农实验室和华为中央硬件院的高层领导,表现出华为对跟踪业界趋势和提升创新能力的决心。

神经网络相关论文斩获ISCA2016最高分

刚才也说过,神经网络和深度学习已经成为近年来体系结构领域的研究热点,本届大会最终录用的 57 篇论文中,有 9 篇与神经网络密切相关。其中,由中科院计算所陈云霁、陈天石研究员课题组的《一种神经网络指令集》,更是ISCA2016最高得分论文。

新智元整理了 ISCA 2016 神经网络相关论文,并邀美国加州大学圣塔芭芭拉分校(UCSB)谢源教授课题组的神经网络架构研究团队的王超博士,以及博士生朱茂华、李双辰、刘浏,对相关论文进行点评。

文章转自新智元公众号,原文链接

时间: 2025-01-20 12:29:59

【更正】ISCA2016:计算机体系结构顶会CNN走红,神经网络论文夺桂冠的相关文章

体系结构顶会 ASPLOS 2017 最佳论文出炉,阿里云周靖人主旨演讲

2017年4月11日晚,在西安举行的架构体系的顶级会议ASPLOS(面向编程语言和操作系统的架构支持会议,Architectural Support for Programming Languages and Operating Systems)公布了最佳论文.最有影响力论文和 Test of Time 几项大奖. ASPLOS(编程语言和操作系统的体系结构支持会议)是ACM开办的一个以体系结构为核心内容的多学科会议,其研究领域跨越硬件.体系结构.编译器.编程语言.操作系统.网络和应用,尤其关注

【体系结构顶会MICRO 2017落幕】量子计算获最佳论文,内存相关工作最受关注

计算机体系结构顶会MICRO落下帷幕,内存相关工作最受关注,专用加速器结构的研究热度升温,量子计算也得到了大量关注.在神将网络和机器学习加速方面,这届会议也出现了新颖的工作.我们请到美国加州大学圣塔芭芭拉分校谢源教授课题组神经网络架构研究团队博士后胡杏,博士生李双辰.谷芃.李谷澍进行点评. 第50届体系结构顶会MICRO(Annual IEEE/ACM International Symposium on Microarchitecture)在其诞生地,汇聚哈佛.麻省理工等知名学府的波士顿召开.

【谢源评体系结构顶会 MICRO 2016】神经网络加速器仍是热点,但图计算加速器夺最佳论文(下载)

MICRO(The 49th Annual IEEE/ACM International Symposium on Microarchitecture)是计算机体系结构领域的顶级会议,重点关注处理器体系结构的设计等内容.自 1968 年创办以来,迄今已经举办了 49 届,今年的 MICRO 于 10 月 15 日至 19 日在台北召开. 历史上,MICRO 长期被美国顶尖研究机构所占领,例如开会地点,仅有 10 次在美国之外的城市召开,本次是 MICRO 第二次在亚洲召开(第一次是 1999 年

《新编计算机科学概论》一第2章 计算机体系结构

第2章 计算机体系结构 本章重点讨论计算机体系结构.从体系结构上看,计算机系统包括硬件和软件两大部分.硬件是计算机系统的物质基础,软件是系统运行的灵魂,两者相辅相成,缺一不可.本章先从系统结构的角度介绍了计算机系统的层次结构,在讨论层次结构时引入了虚拟机的概念,虚拟机的引入有助于我们正确理解各种计算机语言的实质和实现途径,从而更好地进行计算机语言的研究和应用.本章还从体系结构的角度分析了系统硬件的结构,并重点讨论了处理器体系结构.最后在分析硬件结构的基础上,介绍了计算机软件系统的结构. 硬件部分

《新编计算机科学概论》一2.2  计算机体系结构概述

2.2 计算机体系结构概述 体系结构的概念是从软件设计者的角度对计算机硬件系统的观察和分析.结构是指各部分之间的关系.通过分析系统的组成和结构,可以指导更好地进行软件设计. 2.2.1 计算机体系结构的基本概念 计算机体系结构 计算机体系结构(computer architecture)通常是指程序设计人员所见到的计算机系统的属性,是硬件子系统的结构概念及其功能特性.经典的"计算机体系结构"定义是1964年C. M. Amdahl在介绍IBM 360系统时提出的. 按照计算机系统的多级

《C语言编程魔法书:基于C11标准》——第2章 学习C语言的预备知识 2.1 计算机体系结构简介

第2章 学习C语言的预备知识 我们在第1章已经大致介绍了C语言的概念以及编译.连接流程.我们知道C语言是高级语言中比较偏硬件底层的编程语言,因此对于用C语言的编程人员而言,了解一些关于处理器架构方面的知识是很有必要的,对于嵌入式系统开发的程序员而言更是如此了. 另外,C语言中有很多按位计算以及逻辑计算,所以对于初学者来说,如果对整数编码方式等计算机基础知识不熟悉,那么对这些操作的理解也会变得十分困难.因此,本章将主要给C语言初学者.同时也是计算机编程初学者,提供计算机编程中会涉及的基本知识,这样

《高性能科学与工程计算》——第1章 当代处理器1.1 存储程序的计算机体系结构

第1章 当代处理器 在1975-1995年的"旧时代"的科学计算时期,先进的高性能系统是专门为HPC市场设计的,主要的厂商有Cray.CDC.NEC.Fujitsu和Thinking Machines等.在性能和价格方面,这些系统远远超越了标准的"商品"电脑.20世纪70年代初发明的单芯片通用微处理器,是20世纪80年代末唯一足够成熟.可以打入HPC市场的技术.直到20世纪90年代末,标准的工作站集群甚至基于PC的硬件至少在理论峰值性能上才具备相应的竞争力.如今,情

英文论文 文献-怎么找计算机专业相关的最新的研究论文?英文的,毕设翻译用。

问题描述 怎么找计算机专业相关的最新的研究论文?英文的,毕设翻译用. 如题.想搜索最前沿的技术的相关论文.但不知道怎么去找.请各位英雄好汉指导一下. 解决方案 知网,不过要收费,SCI,很权威和有深度 解决方案二: 你们学校(一般都学都会购买一部分资源)应该有免费的知网资源 毕设英文翻译随便搞 解决方案三: 教育网不是内部有论文期刊网 各个高校图书馆也有查询的 解决方案四: 用google学术啊. 地址:scholar.google.com 只要是非保密的全球各种论文,基本都能知道. 但是为了社

linux系统编程基础(一) 计算机体系结构一点基础知识

无论是在CPU外部接总线的设备还是在CPU内部接总线的设备都有各自的地址范围,都可以像访问内存一样访问,很多体系结构(比如ARM)采用这种方式操作设备,称为内存映射I/O(Memory-mappedI/O).但是x86比较特殊,x86对于设备有独立的端口地址空间,CPU核需要引出额外的地址线来连接片内设备(和访问内存所用的地址线不同),访问设备寄存器时用特殊的in/out指令(汇编),而不是和访问内存用同样的指令,这种方式称为端口I/O(PortI/O). 在x86平台上,硬盘是挂在IDE.SA