IBM宣布深度学习取得重大突破 大幅降低处理时间

IBM一直在努力促使计算机变得更智能化、更人性化。本周该公司宣布,已经开发出一种技术,可以大幅缩短处理海量数据并得出有用结论的时间。

IBM使用的“深度学习”技术是人工智能(AI)的一个分支,可模仿人脑的工作原理。它也是微软、Facebook、亚马逊和谷歌的重大关注焦点。

IBM的目标是将深度学习系统消化数据所需要的时间从数天缩短到数小时。IBM研究所的IBM研究员和系统加速及记忆主管希拉里·亨特(Hillery Hunter)说,这些改进可以帮助放射学家更快、更准确地找到病变部位,并读取大量医学图像。

到目前为止,深度学习主要是在单一服务器上运行的,因为在不同计算机之间移动大量数据的过程太过复杂。而且,如何在许多不同服务器和处理器之间保持数据同步也是一个问题。

IBM在周二的公告中说,已经开发出了能够将这些任务分配到64台服务器的软件,这些服务器总共有256个处理器,可在速度方面取得巨大飞跃。凡是拥有IBM Power系统服务器的用户,以及其他想要测试的技术人员,均可获得这项技术。

IBM使用了64个自主开发的Power 8服务器,每一个都将通用的英特尔微处理器和英伟达图形处理器连接起来,并使用快速的NVLink连接,以促进两种芯片之间的数据流传输。

在此之上,IBM采用了技术人员所说的集群技术来管理所有这些移动部件。集群技术可在给定服务器的多个处理器和其他63个服务器中的处理器之间充当通信警察。

如果流量管理不正确,一些处理器就会闲置,处于“吃不饱”的状态。每个处理器都有自己的数据集,同时还需要来自其他处理器的数据,以获得更大的图像。亨特解释说,如果处理器不同步,它们就学不到任何东西。

亨特告诉《财富》杂志:“我们的想法是改变你训练深度学习模式的速度,并真正提高你的工作效率。”

亨特说,将深度学习从一个带有8个处理器的服务器扩展到64个服务器,每个服务器有8个处理器,可以将性能提高50-60倍。

Pund-IT公司创始人查尔斯·金(Charles King)对IBM的项目印象深刻,他说后者已经找到了一种“扩大”系统的方法,额外增加的处理器能提高性能。

例如,在理论上,将处理器扩容100%应该获得100%的性能提升。但实际上,由于复杂的管理和连接问题,这种效益永远不会发生。

但IBM称,其系统通过由加州大学伯克利分校创建的“咖啡因”深度学习框架,在256个处理器之间实现了95%的扩展效率。之前的记录是由Facebook人工智能研究公司创造的,扩展效率达到了89%。

“IBM最新95%的扩展效率似乎太好了,不可能是真的,”帕特里克·莫海德(Patrick Moorhead)说,他是德克萨斯州奥斯丁市一家研究公司的总裁和创始人。

IBM表示,在图像识别方面,IBM系统再次使用了“咖啡因”框架,在7个小时内识别了750万张图片,准确率达到了33.8%。微软之前的记录是29.8%,而达到这一准确率花了10天时间。

用外行人的话来说,IBM声称已经开发出了比现有深度学习技术更快、更精确的技术。当然,它还需要使用IBM的Power系统硬件和集群软件。

除了“咖啡因”框架,IBM还表示,流行的谷歌TensorFlow框架同样可以在这种新技术上运行。莫海德说,值得注意的是,IBM在运用自己在高性能计算方面的专业知识,同时,也采纳诸如Tensorflow和“咖啡因”之类的外部资源,这种做法有助于该项技术更广泛地适用于一系列深度学习应用。

原文发布时间为:2017年8月8日

时间: 2024-10-27 07:22:09

IBM宣布深度学习取得重大突破 大幅降低处理时间的相关文章

Deepmind "预测地图"论文背后:神经科学或将助力深度学习迎来新突破

对人类神经网络的理解越来越在左右人工智能的未来研究,连Deepmind也不例外. 2017年10月2日,<NATURE NEUROSCIENCE>发表了Deepmind的一篇<The hippocampus as a predictive map>的论文.这篇论文中,Deepmind通过对主管人类长期记忆行为的"海马体"(hippocampus)神经元活动的研究,进一步提出了可以转化为神经网络架构的"预测图"理论. 在博客中,Deepmind

IBM收购“深度学习”初创企业Alchemy API并雇用四万名开发人员

抱歉了各位前任员工,我们需要的是能构建起"沃森即云"的出色人才. 蓝色巨人终于从紧锣密鼓的成本削减计划当中脱身出来,找到闲暇完成一笔收购活动并启用四万名新晋开发人员--这一次的交易对象为初创企业Alchemy API公司. 深度学习技术初创企业Alchemy API的专长在于对非结构化文本及数据进行收集.筛选以及分析.根据蓝色巨人的说法,此次收购将强化IBM的"沃森生态系统". 沃森业务营收将作为IBM收入结构转型的重要组成部分,蓝色巨人希望借此抵消其传统硬件与软件

简单读懂人工智能:机器学习与深度学习是什么关系

引言:随着AlphaGo战胜李世石,人工智能和深度学习这些概念已经成为一个非常火的话题.人工智能.机器学习与深度学习这几个关键词时常出现在媒体新闻中,并错误地被认为是等同的概念.本文将介绍人工智能.机器学习以及深度学习的概念,并着重解析它们之间的关系.本文将从不同领域需要解决的问题入手,依次介绍这些领域的基本概念以及解决领域内问题的主要思路. 本文选自<Tensorflow:实战Google深度学习框架>. 从计算机发明之初,人们就希望它能够帮助甚至代替人类完成重复性劳作.利用巨大的存储空间和

深度学习再度点燃人工智能 安防成重点领域

过去5年间,计算能力的大幅进步触发了AI革命,谷歌母公司Alphabet.亚马逊.苹果.Facebook以及微软等科技巨头争先进入这个领域.尤其是自去年人工智能机器人大与人类棋手开展,人工智能关注度达到了一个新的高峰.其实,人工智能的发展可以追述到60几年前,但是因为技术的原因数次沉寂,直到深度学习的出现,让人工智能再次掀起热潮. 深度学习再度点燃人工智能 安防成重点领域 什么是深度学习? 深度学习是机器学习方法之一,而机器学习则是让计算机从有关我们周围世界或其中某个特定方面的范例中学习,从而让

【专访】KDD2018主席熊辉教授:数据挖掘与深度学习结合新趋势

2017年8月13日至17日,数据挖掘国际顶级学术会议 KDD2017在加拿大哈利法克斯市举行.本次大会总的注册人数达到1656人,来自全世界51个国家和地区.其中,美国注册人数最多,其次是中国,第三是加拿大. 关于本次大会论文接受数据.中国学者和公司的表现以及最佳论文.最佳论文请参见新智元此前的报道<[KDD最佳论文出炉]BAT.华为谷歌论文排行榜,中国包揽KDDCUP>. 大会同时宣布了KDD2018年大会的主席名单.美国罗格斯-新泽西州立大学信息安全中心主任.罗格斯商学院管理科学与信息系

语音识别的前世今生 | 深度学习彻底改变对话式人工智能

CNET科技行者 8月21日 北京消息:"语音识别"的终极梦想,是真正能够理解人类语言甚至是方言环境的系统.但几十年来,人们并没有一个有效的策略来创建这样一个系统,直到人工智能技术的爆发. 在过去几年中,人们在人工智能和深度学习领域的突破,让语音识别的探索跨了一大步.市面上玲琅满目的产品也反映了这种飞跃式发展,例如亚马逊Echo.苹果Siri 等等.本文将回顾语音识别技术领域的最新进展,研究促进其迅猛发展进程的元素,并探讨其未来以及我们距离可以完全解决这个问题还有多远. 背景:人机交互

深度学习如何落地安防应用?为何被称为安防行业的颠覆性力量?

近日,市场研究&咨询公司GrandViewResearch发布了一份深度学习市场分析报告.报告表明,2016年全球深度学习市场估值为2.72亿美元,其在自动驾驶和医疗行业的应用越来越多,有望为行业增长做出突出贡献.这项技术的崛起得益于数据驱动的复杂应用,包括语音和图像识别,它可以和其他技术一起克服大数据量和高计算能力的挑战以及改进数据存储.同时在刚举行的"2017 CCF青年精英大会"上,香港中文大学教授汤晓鸥作了<人工智能的明天,中国去哪?>的主题演讲.其中,针对

Geffory Hinton:深度学习进入平台期?不,深度学习需要的是“推倒重来”

一个星期前由François Chollet在Twitter上引发的"深度学习是否进入平台期"的讨论,因为大神Geffory Hinton的参与达到了高峰. Hinton:深度学习可能需要"推倒重来" 据科技媒体Axios报道,上周三在多伦多举行的一个AI会议上Hinton表示,他现在对反向传播算法"深感怀疑".这一算法是用来训练人工神经网络的常见方法,该方法计算对网络中所有权重计算损失函数的梯度.这个梯度会反馈给最优化方法,用来更新权值以最小化

深度学习为何成为颠覆安防行业的力量?

深度学习技术的发展使人工智能产业的冰山正在迅速融化成一股势不可挡的洪流,冲击着安防行业的产业变革.安防行业众多一线厂商携手世界顶级人工智能芯片厂商发力智能硬件产品升级,并将CV领域的最尖端的图形处理器应用于新型硬件产品的研发. 深度学习为何成为颠覆安防行业的力量? 近日,市场研究&咨询公司GrandViewResearch发布了一份深度学习市场分析报告.报告表明,2016年全球深度学习市场估值为2.72亿美元,其在自动驾驶和医疗行业的应用越来越多,有望为行业增长做出突出贡献.这项技术的崛起得益于