ISCA(The International Symposium on Computer Architecture)是计算机体系结构领域的顶级会议。自1973年创办以来,迄今已经举办了 43 届(1974 年空缺)。
今年的 ISCA 于 6 月 18 日至 22 日在韩国首尔召开,这次会议有近 800 名来自世界各地的工业界和学术界的专家学者参加,在参会人数上创下历史新高。本届会议共收到了 291 篇投稿论文,最终录用了 57 篇,接收率为19.6%。
ISCA的“C”成了CNN的“C”
值得一提的是,在最终录用的 57 篇论文中,有 9 篇论文(3个Session)与神经网络密切相关,以至于有不少参会者开玩笑说,今年 ISCA 是 International Symposium on CNN Architecture,而不是传统意义上的 International Symposium on Computer Architecture。
总体来看,神经网络和深度学习已经成为近年来体系结构领域的研究热点,在体系结构相关的顶级会议(如ISCA、MICRO、HPCA、ASPLOS)中,涌现了一批以深度学习为代表的应用驱动研究成果。
下图简单汇总了近年来发表在这四个顶级会议上的神经网络相关的论文(不含MICRO2016),可见神经网络加速器和处理器研究方向的迅猛发展。基于上述结果和分析,我们有理由相信,神经网络相关的处理器和硬件系统将很快应用于目前主流的机器学习框架中。
根据UCSB谢源教授课题组神经网络架构研究团队王超博士统计,近年来在四大顶级体系结构会议上,与深度学习有关的文章数量增长迅速。
Architecture 2030:未来计算机架构设计的趋势
大会的前一天,举办了一个 Architecture 2030 Workshop , 其主要目的是探讨在未来15年计算机架构研究的机会和挑战。上午的 Keynote 斯坦福的 Philip Wong 谈了新技术对硬件架构研究的影响,而下午的 Keynote 则是由 CMU 的 Kayvon Fatahalian 谈新的应用对硬件架构研究的需求和影响。
UCSB的谢源教授在这个workshop中,总结了过去 25 年 ISCA 会议研究趋势,并指出未来架构研究将从传统的CPU设计转向更多的 Top-down Application-driven ,比如针对机器学习、大数据应用的硬件加速架构研究,以及 Bottom-up Technology-driven,比如研究新型存储器件和3D堆叠技术对架构设计的影响。
正式大会的第一个特邀主题报告,是由微软研究院的 Doug Carmean 做的关于量子计算的演讲。Doug 本人曾经是 Intel Fellow,主持设计了 Intel Xeon Phi 系列的 CPU。最近,谷歌发布的 TPU,设计者 Norm Jouppi 也是在惠普实验室做了20多年的硬件架构设计,于2013年9月加入谷歌团队,秘密进行TPU的研发。传统的软件公司比如微软和谷歌,从传统的硬件公司挖人,进行非传统的硬件架构设计(比如量子计算和TPU设计),也许是最近的一个有意思的趋势。
另外,法国的Olivier Temam在2010年的ISCA会议上做了题为 The rebirth of neural networks 的 Keynote Speech 后,针对神经网络的处理器设计迅速成为 ISCA 最关注的研究方向之一。而 Olivier 之后也被谷歌高薪聘请,帮助在这方面的研究。不知道这次关于量子计算的特邀报告是否能起到类似的作用,促进在这个方向上的研究投入。
大会的第二个主题报告是 SK Hynix 的执行副总裁 Seok-Hee Lee 关于存储技术的报告。由于CPU/GPU计算能力的迅速增长,未来系统性能的提高遇到了“存储墙”(Memory Wall)的瓶颈,使存储技术在计算机体系架构的重要性越来越高。除了继续研究基于传统的SRAM和DRAM的存储架构,新型存储技术,比如非易失性存储(Non-volatile Memory)的研究越来越受学术界和工业界的重视。这次大会57篇论文中,大约20篇都与Memory相关。
华人研究员崛起
ISCA作为计算机系统结构领域的顶级学术会议,截至2007年,中国大陆科研机构在历届ISCA上只发表过三篇第一作者文章(1981年两篇和1993年一篇),其中两篇文章的作者是中科院院士(高庆狮、夏培肃),从这一侧面也可见其难度与声誉。
从2007年开始,中国大陆学者在ISCA这个会议上取得了不少突破。首先是国防科大在2007年的突破,然后复旦陈海波研究组在2008年更进一步(他到交大后又于2015发表文章),而中科院计算所的几个研究小组在2010年后表现尤为突出,包括陈云霁、陈天石研究组(2010,2014,2015,2016),韩银和研究组(2010,2011),国重编译团队刘磊等(2014)【此处已更改】。最近几年,几名海归青年学者也带来了突破:从哈佛大学博士毕业回到上海交大的梁晓峣研究组(2013),从佛罗里达大学博士毕业回到上海交大的李超研究组(2015,2016),以及从宾夕法尼亚州立大学博士毕业回到北京大学的孙广宇研究组(2015)。
ISCA2016中科院陈云霁团队相关报告
而且,本次ISCA大会的57篇文章中,除了中科院陈云霁、陈天石研究组和上海交大李超研究组的两篇大陆科研机构的文章,有21篇的第一作者是华裔学生,显示出华人研究人员在未来体系结构研究领域的实力。ISCA会议还有一个名人堂(ISCA Hall of Fame), 列出了1973年以来在ISCA上发表超过8篇论文的作者名单,包括近80名研究人员,目前华裔研究人员极少。但根据近10年的趋势,可以预计不远的将来会有更多华人上榜。
华为派出了近40名研究人员参加这次大会,包括华为香农实验室和华为中央硬件院的高层领导,表现出华为对跟踪业界趋势和提升创新能力的决心。
神经网络相关论文斩获ISCA2016最高分
刚才也说过,神经网络和深度学习已经成为近年来体系结构领域的研究热点,本届大会最终录用的 57 篇论文中,有 9 篇与神经网络密切相关。其中,由中科院计算所陈云霁、陈天石研究员课题组的《一种神经网络指令集》,更是ISCA2016最高得分论文。
新智元整理了 ISCA 2016 神经网络相关论文,并邀美国加州大学圣塔芭芭拉分校(UCSB)谢源教授课题组的神经网络架构研究团队的王超博士,以及博士生朱茂华、李双辰、刘浏,对相关论文进行点评。
文章转自新智元公众号,原文链接