2017年的第一场顶会,AI 产业巨头都带来了哪些技术干货

2017年 2月4日到8日,IEEE 高性能计算架构会议( HPCA 2017 )在美国的奥斯汀举行,这是计算机体系结构的国际顶级会议之一,一起召开的还有编译和算法领域的CGO以及PPoPP。

中科院计算所研究员韩银和总结说, 今年大陆有3篇论文入选,不到总论文数的1/10,和其他方向相比,体系结构还是美国难以撼动的优势领域,追赶的路还很长。

根据中科大神经网络架构研究团队的博士王超的统计,在HPCA会议(1995-2016)上发表过论文的知名华人学者包括来自UCSB的谢源教授(9篇),佛罗里达大学的李涛教授(8篇),匹兹堡大学的张有弢教授(7篇),以及UCSD的周源源教授(6篇)。

韩银和同时带来一个消息:UCSB的谢源教授当选明年(HPCA2018)的程序主席。这是华人学者在体系结构体系上地位提升的一个标志性事件。

中国在体系结构研究实力

在计算机体系结构的三个顶级会议中,来自中国大陆的团队研究论文非常少。据统计,大陆第一单位在ISCA会议上发表的论文共18篇,其中陈云霁和陈天石研究员团队在ISCA上发表了4篇论文。而对HPCA会议来说,大陆第一单位会议上发表的论文共17篇。MICRO会议,1994年之前中国有9篇论文,然后从2009年至今有10篇论文,共19篇。 不过总体来看,大陆第一作者的论文数量呈现上升趋势。

 

然而值得注意的是,近年来,不仅仅大陆第一作者论文数量的提升,第一作者是华裔学生及研究人员的论文数量也大幅提升,显示出华人研究人员在未来体系结构研究领域的实力。例如ISCA 2016在所有的57篇论文中,有21篇论文的第一作者是华人研究人员,HPCA 2017的一作华人论文有19篇,MICRO 2016也有19篇,大体占到了论文总数的三分之一左右。

HPCA 2017 最佳论文归属英特尔团队

2月8日,新智元从谢源教授处得到消息, HPCA 2017 本年度的最佳论文已经公布。来自英特尔的论文《Near-Optimal Access Patitioning for Memory Hierarchies with Multiple Heterogeous Bandwidth Sources》摘下桂冠。

摘要

存储墙仍然是性能的瓶颈。虽然小型管芯缓存到目前为止的性能尚足以隐藏这个瓶颈 ,但是现代的应用中不断增加的占用使得这样的缓存效果越来越差。近年来,内存技术,比如嵌入式DRAM(eDRAM)和高宽带存储(High Bandwidth Memory)的进步,使得在 CPU 封装上集成大型存储,作为一种额外的带宽资源而不是DRR 主存储成为可能。由于容量的限制,这些存储一般都会被当成一个内存侧的缓存。受到传统思路的启发,许多致力于提升系统性能的优化都在尝试将内存侧的缓存的命中率最大化。一个更高的命中率能让人更好地利用缓存,进而被认为能带来更高性能的表现。

在本论文中,我们队这种传统的思路进行了挑战,并提出了一个动态存取分割(Dynamic Access Partitioning)算法,也称DAP。它牺牲了缓存的命中率,来利用主存储中未被利用的带宽。DAP 通过使用一个轻量的学习机制,只需要额外硬件的16个字节,便能在内存侧缓存和主内存之间获得一个近似最优化的带宽。模拟的结果显示,在一个片叠式(die-stacked)内存侧DRAM 缓存上采用DAP,可以获得13%的性能。我们还证明了,DAP 在不同的实现、带宽点和内存侧缓存的容量点上都能带来较大的性能优势,使得它对任何超越芯片上SRAM 缓存层次的、基于多相带宽资源的当下或者未来系统都是有价值的。

不容忽视的最佳论文提名:跨平台深度学习架构
不过,在本届会议中,另一篇被提名最佳论文的研究《Toward  Pervasive and User Satisfactory CNN across GPU Microarchitectures》引起了我们的注意。这篇论文来自佛罗里达大学电子和计算机工程系的教授李涛和他的该校的同事。论文提出了 Pervasive CNN (P-CNN)——一个注重用户满意度的CNN 推理框架。P-CNN 在不同的推理任务中能提供最佳的用户满意度。

摘要

在GPU 上加速卷积神经网络通常包含两个步骤:训练和推理(Inference)。传统上,这两步处理都在含高端GPU配置的服务器中进行。台式机和手机GPU计算力的不断增长,使得在各种各样的平台上进行推理的兴趣不断地增长。与训练阶段所需要的高吞吐量和高精度不同,在与推理相关的任务中,终端用户面临着更多样化的要求。

为了跟进这一新兴趋势,满足新的要求,我们提出了 Pervasive CNN (P-CNN),这是一个注重用户满意度的CNN 推理框架。P-CNN 有两个组成部分:跨平台离线编译(compilation)和运行时间管理。根据用户的需求,离线编译使用架构独立技术,比如自适应批处理量大小选择(adaptive batch size selection )和协同微调(coordinated fine-tuning)来生成最佳内核(optimal kernel)。运行时间管理阶段由准确率修正、执行和校正组成。首先,准确率修正会在可接受的准确率下动态地确定最快的内核。然后,运行时间内核调度器会为每一层神经网络分配出最优的计算资源,调度GPU 线程。如果获得的准确率对于终端用户来说是不能接受的,校正阶段会选择一个更慢但是更加精确的内核来提升准确率。最后,我们为 CNN 设计了一个用户满意度衡量指标,用于评估我们的 Pervasive 设计。我们的测试结果显示,P-CNN 在不同的推理任务中提供最佳的用户满意度。

李涛是佛罗里达大学电子和计算机工程系的教授。他在德克萨斯大学 获得计算机工程博士学位。他的研究兴趣包括计算机架构、微处理器/记忆/存储系统设计、虚拟技术、节约型/可持续/可依赖数据中心、云/大数据计算平台、计算机信息技术与应用以及计算机系统的评估。

  • 李涛曾获得美国国家自然基金 Faculty Early CAREER Awards。
  • 2006-2008年连续3年获得 IBM Faculty Awards。
  • 2008获得 Microsoft Research Safe and Scalable Multi-core Computing Award 
  • 2006 获得 Microsoft Research Trustworthy Computing Curriculum Award
  • 李涛博士多次在结构领域顶级会议获得最佳论文提名,如HPCA 2017, ICPP 2015, CGO 2014, DSN 2011, MICRO 2008 和 MASCOTS 2006

2017,体系结构大会在中国

今年在中国举办的两个体系结构大会:

4月在西安召开的 ASPLOS

ASPLOS(编程语言和操作系统的体系结构支持会议)是ACM开办的一个以体系结构为核心内容的多学科会议,其研究领域跨越硬件、体系结构、编译器、编程语言、操作系统、网络和应用,尤其关注这些学科间的交叉性研究课题。

ASPLOS一年仅录用20多篇论文,几乎每篇都会受到计算机领域的大量引用。

将于10月份在上海召开的SOSP

SOSP 50多年来第一次来亚洲。SOSP是一个相对古老的会议,它是由ACM下属的SIGOPS (the ACM Special Interest Group on Operating Systems)于1967年创办。这个会议是两年举行一次,迄今为止已经举办了25届,每届收录的文章在20篇左右。

文章转自新智元公众号,原文链接

时间: 2024-10-17 23:22:27

2017年的第一场顶会,AI 产业巨头都带来了哪些技术干货的相关文章

CNCC 2017最后一天,两场论坛引爆互联网和人工智能

本文讲的是CNCC 2017最后一天,两场论坛引爆互联网和人工智能, 由中国计算机学会(CCF)主办,福州市人民政府.福州大学承办,福建师范大学.福建工程学院协办的 2017 中国计算机大会(CNCC2017)于 10.26-10.28 日在福州·海峡国际会展中心举办.雷锋网作为独家战略合作媒体对大会内容进行了全程覆盖和报道. 本次大会主题是"人工智能改变世界(AI Changes the World)",共邀请近十位院士.300余位国内外计算机领域知名专家.著名国际国内IT企业家到会

2017年,开发者需要关注哪些AI国际峰会?看这篇就够了

不管你是一个从事认知计算.AI 还是机器学习的开发者,你很可能会同意这一观点--第四次工业革命已经开始,而且正在加速. 当前,在广义的 AI 领域,行业.技术.知识变化的速度是如此之快,任何一个想要跟上前沿研究进展的开发者,都要日日夜夜地苦下功夫:关注动态资讯.研读 paper.和技术牛人交流只是其中的一部分:学术会议.行业峰会.workshops 和其他交流会是同样重要的另外一大部分.这里面的原因很简单:撇开大牛的分享不提,这些顶尖同行汇集的会议能让你获得关于技术走向.行业趋势.就业风向等具有

2017 VQA Challenge 第一名技术报告

本文讲的是2017 VQA Challenge 第一名技术报告 1. 前言 之前听 Chris Manning 讲过一个 talk,说他们复现别人的 paper,按照别人的算法写,做到了比原本那篇 paper 高了 10 个点的结果.还有听认识的同学说,有一年因为算法的 performance 不够好论文被拒了,第二年重新回过去跑那个代码,随便调了调,performance 就比当时他们提交的时候高了很多. 我们做玄学的,好的 idea 固然重要,然而一个好的 idea 可能带来的效果的提升还不

苏宁宣布,将于4月18日拉开双线运营整合后的第一场促销大战

摘要: 昨日苏宁宣布,将于4月18日拉开双线运营整合后的第一场促销大战.苏宁北京区总经理卞农预计,北京苏宁线上线下有望突破22亿元的销售, 空调 .彩电两个旺销品类的销售预计增幅将 昨日苏宁宣布,将于4月18日拉开双线运营整合后的第一场促销大战.苏宁北京区总经理卞农预计,北京苏宁线上线下有望突破22亿元的销售, 空调 .彩电两个旺销品类的销售预计增幅将达80%以上. 值得注意的是,此次价格促销战中,空调将成为主力产品.变频空调新能效标准2013年10月起正式实施,原有的五级能效等级制提升为三级,

从第一场雪中思索网络营销

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 今天下雪了是2012年的第一场雪.回家的时候,我在想,这老天真会营销啊,能够叫别人都在帮他传播,而且传播的速度非常快.如果"下雪"是一个产品的话,一定会热卖,为什么,有两个原因.一个原因是稀缺性,物以稀为贵,一年365天能看到下雪的时候非常的少,就那么仅有的几次.所以确保了他的价值.另一个原因是利于传播性,任何好的东西都需

佳宏标致 第一场大客户专享团购会开幕

综述报价参数配置图片文章 佳宏标致 开春第一场大客户专享团购会 来源:爱卡汽车2012-02-14作者:爱卡汽车 分页:1.佳宏标致 开春第一场大客户专享团购会 [XCAR 福州 资讯] 2012年2月18日周六下午3点-5点大客户专享团购会,光临吉诺佳宏展厅即可参与吉诺佳宏携手中国建行.工行联合推出"免抵押.免担保.0利息.超低手续费"大型团购活动,现场订车可尊享五重大礼,豪礼不断,惊喜连连!精彩活动尽在佳宏标致活动盛会!详询: 0591-83410033 具体内容如下: 活动主题:

项目秀第一场:O2O如何实现流量变现

9月11日,由清科集团主办的2014中国四届中国移动互联网大会在北京召开.项目秀是本届移动互联网投资最精彩的环节之一.第一场项目秀环节汇集了自红点投资,盘古创富,浙商创投,鼎晖投资,曼图资本,同创伟业,五岳天下等各大投资机构的创业导师. 项目秀规则:入围项目通过三分钟的VCR逐一亮相,进行5分钟的路演,创业导师针对不同项目进行互动问答,最后是3分钟的融资阐述,并由创业导师留灯表态. 本场项目秀十大创业导师分别是: 腾讯投资并购部总经理许良 同创伟业合伙人王维 浙商创投合伙人.执行董事刘冬秋 盘古

2004年的第一场雪 是机会还是雪上加霜?

2004年的第一场雪 2004年的第一场雪比以往来的更早一些,全国人民为这一场大雪而高兴,做白酒的经销商和厂家更加高兴,而在湖南省益阳市.岳阳市做"剑南老窖"的经销商却高兴不起来. 2004年11月上旬,剑南老窖湖南省的销售经理A经理认识到了在株洲玩耍的益阳人贺阿姨,通过了解后知道贺阿姨曾经做建材生意赚了很多钱,现在正想找个项目运做,于是A经理就开始给贺阿姨灌输做白酒的理念,并夸大其词的提高产品利润和降低经营风险来吸引贺阿姨,感觉只要把白酒接过来就可以稳赚钱了.贺阿姨在她株洲一个也是做

齐家网新年第一场活动服务升级

互联网正在实实在在的改变老百姓的消费习惯,现在网上采办年货,买鸡鸭鱼肉已经是家常便饭,通过网络购买家居,厨房电器,也已司空见惯.新年还未过,齐家网率先举办2012年首届建材团购会,就在呼兰西路1号上海智力产业园(地铁一号线呼兰路站4号口出)盛大举办. 纵观2011年楼市,由于房市调控.物价飞涨等原因,给家居建材行业造成了一定影响.但具备销售渠道短.价格优惠透明.第三方保障等优势的团购渠道发展却逆势而上,成立于2005年的齐家网更是发展迅猛.齐家网优化了装修产业链,不仅改变了消费者的消费行为,更颠