TensorFlow1.0正式发布,AI圈“互怼”那些事儿 | AI科技评论周刊

编者按:本周TensorFlow 1.0 正式发布;南大教授周志华当选AAAI 2019 程序主席,华人学者第一人;
雷锋网与MXNet作者李沐畅谈两小时;LipNet与ICLR评委互怼始末,谷歌工程师怼上Yann
LeCun,雷锋网帮你梳理最近学术界工业界“互怼”那些事儿。

TensorFlow 1.0 正式发布

本周,谷歌在山景城举办了第一届 TensorFlow 开发者峰会。作为大会的一部分,TensorFlow 1.0 的正式版本被发布出来。一起来看看它都有哪些新特性:

更快

它运算更快——TensorFlow
1.0 有十分惊人的速度。它快到什么程度呢?据谷歌表示,在使用八个 GPU 的情况下,TensorFlow 1.0 在 Inception
v3 的测试中有 7.3 倍的速度提升。在 64 个分布式 GPU 集群上运行,Inception v3 的跑分增加了 58 倍。

不仅如此,XLA(Accelerated
Linear Algebra,即加速线性代数) 还为未来进一步的性能提升打下了基础。TensorFlow 的官方网站
tensorflow.org,也上线了官方使用指南和秘诀,以帮助开发者对模型进行调参,达到最大的训练速度。另外,雷锋网获知,谷歌将发布针对几大主流模型的实践指导(更新版本),为如何最大化利用
TensorFlow 1.0 提供指导,相信不久之后就可以看到。

更灵活

它更加灵活——
TensorFlow 1.0 加入了新的高级别 API,还有 tf.layers, tf.metrics, and tf.losses
模块。非常关键的是,谷歌宣布 TensorFlow 1.0 内置了新的 tf.keras 模块——后者使得 TensorFlow 为 Keras
提供“完全”兼容支持。这在之前就传出过风声。作为一个在 ML 开发者当中广为流传的神经网络库,Keras 的加入无疑让 Tensorflow
的使用变得更加便利。

更稳定

更适合商业化使用——TensorFlow 加强了 Python API 的稳定性。这使得为它加入新特征变得更加容易,而不需要推翻已有的代码。

MXNet作者李沐:工业界追求“how”,学术界重在“why”

在旧金山参加 AAAI 期间,经余凯老师的引荐,雷锋网AI科技评论来到了位于 Palo Alto 的亚马逊AWS 办公室与李沐见了一面。

在 AAAI 的演讲中,Smola 拿 MXNet 的运行速度与其它开源平台做对比,而在谈话中李沐表示,自己并不愿意这样简单粗暴地做对比,他也告诉员工们,如果其它公司邀请你们做分享,一般不要做对比,只谈技术就好。

“我很理解大家爱看对比类的文章,但这是一个有偏见(biased)的做法。我们比别人快一两倍,不是我们想表达的东西,而为什么快,做了哪些优化,离我们的理想状态还有哪些差距,这样的总结可能对我来说更有价值一些。”

作为在工业界与学术界都待过的大牛,李沐虽然现在对于两个领域的研究侧重颇有心得,但在四年前,他在投递论文时也吃过不少亏,NIPS、IJCAI、JMLR、UAI、KDD连续被拒绝的他,心情非常郁闷。2013 年 8 月,他在微博上无奈地写道:

“今年往nips投了篇分布式优化的文章,自觉性能和通用性都可以beat掉度厂和谷歌的当家机器学习系统。结果收了满满6页的review 真是rebuttal不能啊,不报希望去nips普及大数据了。转身投system会议去了....”

后来回顾这段历程时,李沐感慨道:

“做产品和做学术研究是完全不同的东西。产品的导向是解决问题的
how,效果好、简单好用、通用性强、资源消耗低、便于实践,也就是东西要
work(应用)。不同公司的侧重点可能有些差异,比如百度对广告的精准性要求高一些,腾讯可能需要产品简单一些。而做学术研究时要写清楚的是
why,最重要的是想法(idea),第二点是洞察(insight), 也就是你能把这个事情做出深层的解释,再接下来才是结果好不好。”

他认为亚马逊看重的是“有与无”的问题,而不是“谁”的问题。

“亚马逊靠的是机器时间(machine hour)赚钱,而不是靠软件与平台。因此,做社区的目的主要是为了把用户量积累起来,而上面用的是什么开源平台,其实并不重要。”

南大教授周志华当选AAAI 2019 程序主席,华人学者第一人

雷锋网(公众号:雷锋网)从AAAI现任主席Subbarao
Kambhampati处获悉了AAAI 2019的程序主席人选,一位是密歇根大学教授Pascal Van
Hentenryck,另一位是我们很熟悉的、来自中国南京大学计算机系的教授周志华,其作为华人学者担任AAAI大会程序主席(Program
Chair),这是AAAI创始以来第一次。周志华教授也成为了1980年AAAI大会创办以来欧美之外国家的学者担任AAAI大会程序主席的第一人。

周志华分别于1996年6月、1998年6月和2000年12月于南京大学计算机科学与技术系获学士、硕士和博士学位,学成后一直在南大执教。他曾在中国大陆取得所有学位,在海外最多只连续呆过两个月,是彻头彻尾的‘本土学者’。周志华教授是AAAI
Fellow、 IEEE Fellow、 IAPR Fellow,2016年又新当选ACM Fellow、AAAS
Fellow,涵盖了人工智能所有重要的学会,堪称人工智能会士“大满贯”得主。

最近几年,AAAI把国际化当成一个重要议题,越来越多来自美国之外的学者进入常务组织机构,而影响力日渐壮大的中国学者也会在AAAI里扮演更重要的角色。2016年,香港科技大学的杨强教授曾当选AAAI
Councilor,是华人学者第一次进入AAAI执行委员会。

不可否认地,华人学者在大会中担任越来越重要的角色,除了AAAI本身国际化的需求,也是华人学者在AI领域的影响力日渐提升的结果。Subbarao
Kambhampati最后向雷锋网透露,AAAI正在考虑2021年让AAAI会议走出北美,虽然尚未有定论,但组委会正在讨论深圳作为AAAI
2021主办地点的可能性。

LipNet与ICLR评委互怼始末

ICLR 2017 4 月份马上就要召开,OpenReview 的结果也陆续出来。既然是一项学术会议,自然就涉及到论文的录取与评审。其中,一篇早在去年就火遍各大媒体的论文遭到了拒绝,并引发了一场公开辩驳。

去年
11 月的一篇论文——《LipNet: End-to-End Sentence-level
Lipreading》,由牛津大学人工智能实验室、谷歌 DeepMind 和加拿大高等研究院 (CIFAR)
联合发布,此文一出,很快便引来了众多的关注,第一及第二作者 Yannis Assael 和 Breandan Shilingford
也是采访不断。

论文火到什么程度呢?Nvidia CEO 黄仁勋在 CES 2017 上提及了他们与牛津大学的 LipNet 团队有合作,研发读唇深度学习网络模型的应用,并表示这一成果将应用于 Nvidia 的协同驾驶技术上。

然而这篇论文,在今年就遭遇了
ICLR 的无情拒绝。其中与评委争论得最为激烈的就是导师 Nando de Freitas,作为牛津大学机器学习教授,DeepMind
研究科学家,还是 CIFAR 的
Fellow,他直言评审的意见更新毫无价值,吐槽评审给出的修改意见简直是居高临下,站着说话不腰疼,完全是一派胡言!

而评审也是一点不手软,最后给出的结论依然是拒绝。主要有2点评审意见:

1. 评审们非常重视论文的创新度及研究意义。

2. 经过审阅,论文确实还没有达到入选 ICLR 的标准。“论文是一篇应用性论文,作者提出了第一个用机器学习实现端到端的语句层面唇读技术。”

最后又总结了一番:

此文的缺点在于,在研究深度学习的相关应用时,它并没有做出巨大的技术贡献,也没有提出任何超出目前应用领域的新见解。

论文里提及能将唇语的判别能力提升

10%,对于工业界也是一个很大的突破。不过,好的结果对工业界有用,但从研究的结果来说,不一定就与突破划上等号。就像李沐此前所提及的一样,工业界追求的是「how」,而学术界看重的是「why」,产品与研究的方向完全不同,前者追求效果,能做出东西来就是胜利,而后者更看重创新。

谷歌工程师怼上Yann LeCun:你对Google Brain的评价完全是错的

最近,Google
Brain的研究工程师Eric
Jang在Quora上回答了“IBM、谷歌、Facebook、苹果和微软等几家公司里,谁在领导着AI研究的发展?”(Who is leading
in AI research among big players like IBM, Google, Facebook, Apple and
Microsoft?)这一问题,短短时间便获得了超过4000的阅读量。之所以获得这么广泛的关注,一方面是因为Eric
Jang犀利的行文风格,也因为他直接对原本Yann LeCun的回答做出了反驳。

Eric
Jang把Deepmind排到第一位,Google Brain 、Facebook
FAIR和OpenAI三者并列第二,百度和微软研究院并列第三、苹果第四、IBM位列第10位。他认为Deepmind很大程度上是如今的第一名,因为他们发表的工作成果受到研究圈的高度重视,而且都涉及到了非常顶级的议题,比如深度增强学习、贝叶斯神经网络、机器人学、迁移学习等;也因他们从牛津大学和剑桥大学吸收了大量人才。

对于之前Yann
LeCun对Google
Brain在研究领域的评价“但是谷歌主要关注与应用和产品开发,而不是长期的AI研究工作。”是错误的。他说道,Google
Brain刚起步时的项目确实比较偏向工程,但是今天,Google Brain有很多员工都是专注于长期的AI研究
,而且是涉及所有可能的AI次级领域,这跟Facebook FAIR和Deepmind是类似的。

Facebook
FAIR有16篇论文被ICLR 2017大会接收,其中有3篇被选为做现场论文展示。而实际上,Google Brain被ICLR
2017大会接收的论文数量还略略超过Facebook
FAIR,总共有20篇,其中4篇被选为做现场论文展示。而这并没有算上Deepmind和其它谷歌内部团队的工作(比如搜索、VR、图片)。论文接收数量并非一个很好的衡量尺度,但是他以此想反驳那些暗示Google
Brain不善深度学习研究的暗示。

MIT黑科技:全新芯片将语音识别功耗降低99%

日前 ,MIT的研究人员开发了一款专为自动语音识别设计的低功耗芯片。据悉,他们开发的芯片最高能将语音识别的功耗降低99%。

不管苹果的Siri,谷歌的Google

Assistant,还是亚马逊的Alexa,智能语音助手正在越来越普及。但是,这些虚拟助手都需要依靠语音识别,而且需要常驻后台保持开启状态以随时检测语音命令,这必然会减少设备的续航时间。MIT的研究人员称,手机上的语音识别功能的功率大约在1瓦特左右,而使用他们开发的芯片能够将功率降低至0.2~10毫瓦。

雷锋网了解到,通常情况下,负责语音识别的芯片会一直在后台运行神经网络来检测周围所有的声音,不管是人声还是噪声。而MIT的这款芯片增加了一个简单的“声音探测”电路,它能够识别人类的声音,而且一旦检测到人声之后,就会激活更复杂的语音识别电路。这种方式就像给语音识别芯片加了一个协处理器,从而大幅降低了功耗。这意味着,未来就算是小型的电子设备也能用上先进的语音识别系统和AI助手。

OpenAI最新研究:“对抗样本”能轻易黑掉AI系统,如何抵御?

OpenAI发表最新研究,论述了AI安全领域的一大隐忧:“对抗样本”,它可以轻易地让机器学习系统产生误判,这会对AI的应用实践产生影响。在这篇由“GANs”之父Ian
Goodfellow领衔撰写的文章里,OpenAI针对“对抗样本”进行了防御策略的实验,其中有两种方法效果显著,但也并不能解决根本问题。

“对抗样本”是攻击者故意设计的,被用来输入到机器学习模型里,引发模型出错的值,它就像是让机器在视觉上产生幻觉一样。

“对抗样本”很有可能变得危险。比如,攻击者可以用贴纸或一幅画制成一个“停止”指示牌的“对抗样本”,以此来攻击汽车,让汽车将原本的“停止”指示牌误理解“让行”或其它指示牌,就像论文“Practical
Black-Box Attacks against Deep Learning Systems using Adversarial
Examples”讨论的那样。

“对抗样本”展示出,就算是简单的现代算法,不论是监督学习还是增强学习,就已经可以不以设计者的意愿行事了,且是以令人惊讶的方式。

让机器学习模型更稳定的传统技术,比如与权重衰减(weight
decay)和dropout,通常不会对“对抗样本”造成实际的防御。到目前,只有两种方法有明显防御效果:对抗训练(Adversarial
training)和防御净化(Defensive
distillation),然而,如果攻击者获得更多的计算力,那么即使是这些特定算法,也会很容易就被攻克。

“对抗样本”很难抵御,因为很难为“对抗样本”的制作过程构建一个理论模型,也是因为它们要求机器学习模型为每一个可能的输入值产生好的输出结果。设计出抵抗强大、具有适应性攻击者的防御策略,是非常重要的研究领域。

本文作者:亚萌

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-11-05 04:58:04

TensorFlow1.0正式发布,AI圈“互怼”那些事儿 | AI科技评论周刊的相关文章

朱小燕、王海峰、Rosalind Picard 等人亮相 AAAI,分享各自的研究心得丨AI科技评论周刊

雷锋网(公众号:雷锋网)按:本周,人工智能产.学两界的资深人士纷纷在顶级会议 AAAI 中亮相,分享了他们在各自研究方向的体会与心得.本期雷锋网 AI 科技评论周刊整理了清华大学朱小燕教授.麻省理工学院 Rosalind Picard 教授.百度副总裁王海峰.亚马逊 AWS 机器学习总监 Alex Smola 的分享. 独家 | 清华大学朱小燕教授做客 AI 科技评论,分享 NLP 和 AI 的那些事儿 在 AI 科技评论组织的 AAAI 中国之夜活动上,AAAI 现任执委杨强教授.清华大学智能

关于 AI 创新创业的那些事儿——人工智能的“双创”之路 | AI 科技评论周刊

AI 科技评论君对上周末刚刚结束的 CNCC 2016 大会依然意犹未尽,无论是包云岗研究员提出通过标签化冯诺依曼结构降低云计算数据中心成本,还是山世光研究员介绍的深度化人脸检测与识别技术中关于深度学习的应用,都展示了国内人工智能领域的学术创新成果. 而来自业界的出门问问创始人李志刚和大家讲述了的 AI 创业路上的那些坑与机遇,也作为最早一批人工智能领域的创业者,给广大读者带了不同的思考感悟. 除了关于创新和创业的分享,AI 科技评论君也注意到了科技巨头 Google 的学术动态,其最新发布的增

李飞飞:AI的下一步是认知,孙剑亲述在Face++的半年时光 | AI科技评论周刊

编者按:李飞飞来到北京,与中国的AI界有志之士分享她对人工智能发展的看法,她认为AI的下一步是"认知":谷歌大牛Jeff Dean撰文回顾了谷歌大脑闪亮的2016成绩单:加入Face++的孙剑博士,亲自撰写长文回顾了在新公司工作的近况:李开复博士奉上了"AI 创业的十个真相":而继围棋之后,AI又要进攻德州扑克领域了.这里是过去一周,AI圈的大事件. 李飞飞:"情绪"和"情感",是人工智能的下一个春天 近日,四位人工智能界的泰

Master 真实身份终于揭晓,随后百度高调展开一场人机大战丨AI科技评论周刊

雷锋网按:本周 AI 圈的大新闻不断,最引人关注的无疑是 Master 终于公布其真实身份,最终果然是人们猜测已久的 AlphaGo.在 Master 公布其身份不久后,江苏卫视马上播出了百度大脑对战最强大脑王峰的节目,小度以 3:2 的成绩战胜王峰. Master 真实身份终于揭晓 本周神秘的 Master 终于宣布自己就是就是 AlphaGo,而代为执子的就是 AlphaGo 团队的黄士杰博士! 雷锋网了解到,从 2016 年 12 月 29 日晚起,一个注册为"Master".标

新型算法横空出世,AI 大佬亲自为人工智能降火|AI科技评论周刊

本周谷歌再为人工智能增添了一种新型算法,如果能够广泛应用无疑会为企业降低不少成本.就在 AI 离我们越来越近,发展势头愈发猛烈之时,人工智能领军人物之一吴恩达博士公开为产业界写了一封信,意在表明人工智能尚未成熟,我等仍需努力,各行各业想利用 AI 提高自己效益的公司也不要过分迷恋人工智能,它不过是 A 到 B 的一种简单公式而已. 只训练一次数据就能识别出物体,谷歌全新 AI 算法"单次学习" 最近谷歌 DeepMind 团队发现了一种新的方式对深度学习算法进行调整,新算法可以只通过一

政府工作报告首现“人工智能”,AI进军国家战略层、李飞飞讲AI民主化四大战略| AI科技评论周刊

本周,国内AI圈值得关注的事情有:FPGA 2017最佳论文出炉,雷锋网对得主深鉴科技进行了专访:人工智能"进入国家战略层,AI公司最关注的是什么?AWE 2017本周在上海举办,海尔美的联手百度DuerOS,共同推出"会说话的家用电器":中国人工智能学会AIDL第二期[人工智能前沿讲习班]日前在北京中科院自动化所举行,北京大学王立威等教授参与讲课: 国外AI圈新闻有:Ian Goodfellow 离开OpenAI,重回谷歌大脑团队:Google Cloud Next' 17

从数据算法到人工智能,带你穿越重重迷雾 | AI科技评论周刊

在通向人工智能的道路上,免不了要经常和数据算法打交道.本周AI科技评论从专业角度,详解最新出炉的科学家最常使用的十大算法,以及分析深度学习在数据革命中到底占据什么位置.另外,本周还有Palm之父Jeff Hawkins.人类简史作者Yuval Harari以及微软亚洲研究院院长洪小文从不同的角度带你穿越人工智能学习过程中的重重迷雾. | 最新出炉--数据科学家最常使用的十大算法 基于调查,KDnuggets总结出了数据科学家最常使用的十大算法,它们分别是: 1. Regression 回归算法

AI科技评论周刊:你有没有想过,要成为一个AI领域的大神?

未来是一个AI的时代吗?很有可能是的,几乎每天都能看到AI相关的新闻,你会不会也有一种想要钻研AI,制造下一个AlphaGo的冲动? 可是学习AI说难不算特别难,但是说简单也绝不简单,尤其是对于初学者来说,更是容易有种无从下手的感觉.上个星期,AI科技评论急大家之所急,为大家准备了几份非常精彩的AI入门教程,为你全方位无死角的揭开目前AI最火热的机器学习方法背后的奥秘: 想了解机器学习?你需要知道的十个基础算法 朴素贝叶斯分类 机器学习的本质是什么?其实就是连续的概率选择和调参,但到底是怎么个调

苹果曝光首份AI论文,揭开滴滴人工智能调度系统真面目| AI科技评论周刊

雷锋网(公众号:雷锋网)按:过去一周,是"中国人工智能元年"的最后一周.这周里,苹果揭开其首份AI论文的面纱:美国启动全球首个深度学习加持的"癌症先进计算解决方案的联合设计":IBM在高性能计算上继续发力,提出数据中心计算(DCS )模型:2016年是三星饱受煎熬的一年,来年它将押注Galaxy S8,发力移动AI助手:滴滴研究院副院长叶杰平,为我们揭开滴滴AI调度系统的真面目. 苹果首份AI论文横空出世,提出SimGAN训练方法 12月27日,苹果的首份AI论文曝