微软的研究团队要向Google叫板

摘要: 人工智能(AI)是近年来很火的一个领域,Google、Facebook、苹果、微软等巨头都在发力。而可以帮助进行语音识别、语言翻译及提供计算机视觉的深度学习则是最近的新宠。 尽管苹果有

人工智能(AI)是近年来很火的一个领域,Google、Facebook、苹果、微软等巨头都在发力。而可以帮助进行语音识别、语言翻译及提供计算机视觉的深度学习则是最近的新宠。

尽管苹果有Siri,Facebook成立了人工智能实验室,但业界普遍的看法是Google是人工智能领域竞赛的领跑者。因为最近有深度学习的领军人物Geoff Hinton的加盟,因为它展示过自己会自主学习的深度学习系统,也因为它与NASA联合成立的人工智能实验室等吸引人眼球的东西。在计算机视觉和语音识别方面,Google还保持着几个记录。

但现在微软的研究团队要向Google叫板,我的深度学习系统Adam要比你的Google Brain快。微软称,在ImageNet 22K标杆测试上,Adam在识别图像方面的熟练程度是之前系统的两倍,使用的机器则要少得多,仅为其1/30。ImageNet 22K是用来测试深度学习系统计算机视觉(自动识别图像能力)能力的数据库,共有150万张图片,图片类型多达22000种,此前只有少数系统能处理这么多类型,其中就包括Google Brain,Google的Android语音识别和Google Maps等的AI计算都要靠Google Brain。

那么Adam是怎么做到的呢?

Adam并不是在算法上进行突破,而是优化了机器数据处理方式,同时调整了机器的通信方式。Adam是微软研究员Trishul Chilimbi(Bing的基础设施是他弄的)想出来的产物,其训练方式不太算是人工智能的科学,而是大规模计算机系统的艺术。

与深度学习系统类似,Adam也运行于一组标准服务器(由微软Azure提供)之上。深度学习更加接近于创造了神经网络的大脑的运作方式,而这些神经网络往往需要大规模的服务器去模拟。Adam的独特之处在于使用了异步(asynchrony)技术。

我们知道,随着计算机系统越来越复杂,系统的各个组件之间的信息交换变得越来越困难,而异步可以缓解这一问题。所谓的异步,指的是将系统拆分为基本能独立运行的各个部分,然后再把计算结果合并起来。合并结果在智能手机和笔记本上是比较容易实现的,因为计算可以分布到许多计算机芯片上,但是跨许多不同计算机实现这一点就没有神经网络那么成功。此前许多研究机构和公司(包括Google在内)都是靠大型异步系统来实现这一点的,而现在微软利用了威斯康星大学研发的一种名为“HOGWILD!”的技术来实现异步系统。

HOGWILD!当初的设计主旨是让机器内的每一个处理器工作更加独立。甚至可以允许不同的芯片同时向同一个内存地址写入,即操作相互覆盖也没问题。对于大多数系统来说,这种做法是很糟糕的,因为会引发数据冲突,但是在一些情况下这么做是没问题的。威斯康星大学已经证明,在小型计算系统里,数据冲突的几率是很低的。这样的话,单台机器的速度可以显著提升。Adam则更进一步,把HOGWILD!的异步应用到整个计算机网络上。

神经网络非常稠密,所有的机器都要向主服务器发送更新,数据冲突风险很高。但是由于这种更新往往都是递增性的更新,所以发生冲突的结果往往是一致的。举个例子,机器1可能要给某个现值为5的变量加1,机器2则要给这个变量加3,这种情况下,系统不会控制两台机器的更新次序,因为最后结果是一样的,都是9。

这样一来,微软的神经网络在理解图像之类的东西是就可以快了许多且更精确。百度的深度学习专家Andrew Ng对此的评价是:

很有侵略性的做法,不过我知道为什么这种做法能省很多计算,好想法,很有趣。

令Ng感到惊讶的是,Adam运行于传统的计算机处理器而非GPU(图形处理器)上,后者往往是偏数学型计算的首选。许多深度学习系统都转向GPU以避免通信瓶颈,但是Adam却走了不同的路线。

神经网络需要大规模的数据,这种量已经超出了单台机器CPU的能力范围,所以才需要跨机器。用GPU可以更快地处理数据。问题是如果单个GPU或有多GPU的单台服务器无法容纳下整个AI模型的话,系统就会停转。因为数据中心的通信系统速率赶不上GPU处理信息的速度会导致数据拥塞。因此有些专家称GPU不适合扩展到大型神经网络上。Chilimbi也持同样的看法。

不过,由于微软并没有公布优化网络的细节,业界的专家对于Adam如何实现微软所声称的性能提升并不知晓。

目前该项目仍处于萌芽阶段。微软内部用户可以通过手机抓拍一个对象之后提交给Adam让它来识别。微软研究院负责人Peter Lee 称,他已经用Adam识别出了一种狗和一种害虫,目前该app尚未有面向公众推出的计划,但显然这种技术在电子商务、机器人和情感分析等方面都有广泛用途。微软内部也在讨论用FPGA(现场可编程逻辑门阵列)提高Adam性能的可能性。

时间: 2024-10-22 17:40:59

微软的研究团队要向Google叫板的相关文章

微软研究团队:搜索词条或能预测用户患癌可能性

在治疗癌症方面,及早的发现与诊断将对最终的治疗产生天壤之别的效果.总体而言,及早的诊断或将意味着癌症能够治疗,否则就意味着宣判患者的死亡即将来临.至少可以这样说,及时的发现癌症患者体内的肿瘤就将能够增加患者存活更长时间的机会. 微软的一支研究团队在最近的研究中认为,他们可能已经掌握了一种工具,这个工具可以帮助用户在看医生之前就能够检测出患癌状况.微软研究团队所指的这个工具就是"用户的搜索引擎". 微软研究团队在周二的<肿瘤学临床实践杂志(Journal of Oncology P

向Google叫板的中国人

沈向洋在微软亚洲研究院院长办公室里接受我们采访.这里摆满了比尔·盖茨的照片.这间办公室的主人先后是3个优秀的华人科学家: 李开复.张亚勤.沈向洋.以后沈向洋有一半以上的时间难以眷顾这间办公室了. 今年3月,沈向洋被任命为微软搜索和广告平台研发团队的首席科学家,将负责协调微软搜索业务短期和长期技术投资事宜.7月31日,微软宣布组建互联网服务研究中心,沈向洋出任负责人.几年前,因为微软的失误,Google等新贵突起,微软一直努力弥补其在互联网策略上的失误.它选择了一位华人沈向洋来领衔与Google的

据国外媒体The Verge爆料,微软正在研究一款智能手表

[钛媒综合]7月15日晚,根据国外媒体The Verge爆料,微软正在研究一款智能手表.据称目前微软的智能手表原型设备研发直属于Surface团队. 报道声称,这款智能手表可以更换不同颜色的腕带,此外,此原型设备采用氮氧化铝的外层,据说是一种透明的高硬度铝材料,硬度是玻璃的3倍. 在智能手机之后,对于各大巨头来说,最诱人的莫过于可穿戴设备,而智能手表又成了最热门的可穿戴设备. 近日,据国外媒体报道,由于苹果公司现有的iWatch研发人员可能无法解决特定的工程难题,苹果公司近日正在积极招兵买马,壮

华人研究团队发现新粒子,这其中会有下一个诺奖得主吗?

雷锋网(公众号:雷锋网)按:作为杨振宁的学生,如果华人物理学家张首晟也获得诺贝尔物理学奖,那将是诺奖历史上的一件盛事,也将是中国的一件盛事. 图:张首晟 据7月21日出版的<科学>杂志报导,加利福尼亚大学洛杉矶分校王康隆课题组和美国斯坦福大学教授张首晟课题组.上海科技大学寇煦丰课题组等多个团队共同完成了一项重大发现:他们发现了正反同体的"天使粒子"--马约拉那(Majorana)费米子,结束了国际物理学界长达80年的漫长探索. 值得一提的是,作为近几年诺贝尔物理学奖的热门候

专访盖茨接班人:微软正在研究艾滋病疫苗

中介交易 SEO诊断 淘宝客 云主机 技术大厅 图为微软首席研究及战略官克瑞格·蒙迪 新浪科技讯 3月3日凌晨消息,被称为"微软三号人物"的比尔•盖茨接班人之一.微软首席研究及战略官克瑞格•蒙迪(Craig Mundie)近日接受采访时透露,计算机科学与其他学科之间存在关联,因此微软除了软件外,还正在研究艾滋病疫苗,关注疟疾和肝炎的治疗. 2月24日至26日,微软研究院举办的"计算机研究领域盛宴"微软技术节(TechFest)在微软总部美国西雅图举行.来自微软全球研

Joe Belfiore,微软Windows Phone团队高管

Joe Belfiore,微软Windows Phone团队高管,前两天在Reddit AMA(ask me anything)上回答了众多网友提出的关于Windows Phone的问题.在众多问题中最值得一提的就是,Belfiore确认了Windows Phone 即将拥有自己的文件管理器应用,并最快五月底上线. 目前,Windows Phone团队正在加紧开发文件管理器应用,应用完成度已经非常高.应用管理器将可以管理手机的内置存储以及外置SD卡,其他相应的功能也一应俱全,比如移动.复制文件,

日本研究团队开发出新式智能眼镜,令女性轻松减肥!

原文:Rob Waugh 翻译:celian 日本的一系列新发明可能为膳食减肥带来革命性的变化, 不过想节食的西方人可能会211.html">觉得其缺点"难以下咽". 节食者必须佩带一副眼镜,它能误导使用者认为食物比原来大50%,不过让人安心的是自己的手大小不变. 同在名为"Metahttp://www.aliyun.com/zixun/aggregation/12583.html">Cookie+"的实验室中进行测试的另一个小发明,

微软发布deep-tech团队招募令,期望获得下一代开发者的支持

介于任何公司都无法保证新建立的框架或服务立即被开发者所喜爱,当下微软在激励挽留忠实开发者的同时,正忙于发展新的非微软开发者. 于其坐等开发者拥抱其新开发的技术集合,Redmondians决定主动出击.在5月13日,微软DPE(Developer and Platform Evangelism)部门发布了新团队"deep tech"的招募令.新的团队将与公司外部顶尖工程师一起合作,致力建立下一代基于微软平台的应用程序. 当微软在2011年发布DPE时,该部门用于协调和宣传"微软

《设计模式》作者之一Erich Gamma加入微软Visual Studio团队

<设计模式>的四位合著者(称为GoF,Gang of Four)之一Erich Gamma离开IBM,加入了微软Visual Studio团队. 据负责Visual Studio的微软副总裁Jason Zander说,Gamma以杰出工程师(Distinguished Engineer)的身份加入微软,并为Visual Studio工作,他没有说明Gamma具体参与哪个项目以及为何离开IBM,只是表示他会继续在瑞士苏黎世工作,微软会在那里创建一个实验室,由Gamma领导. Gamma因<