深度 | 做到这些值4亿美元:看 Nervana 如何利用深度学习实现数据革命

2016 年 8 月,英特尔为了加强其人工智能领域的能力,以 4 亿美元的天价收购了机器学习初创公司 Nervana 。该初创公司成立仅仅两年,却被公认为是机器学习技术开发的领导者。近日,Nervana 的联合创始人兼首席执行官 Naveen Rao 博士在 StrataHadoop 上和大家深入探讨了深度学习的话题,通过其PPT,我们也能了解Nervana价值所在。

Naveen 探索了许多方面,包括深度学习相对于其他机器学习技术的好处、该领域的最新进展、深入学习工作流程、开发和部署深度学习解决方案的挑战、用于构建和扩展深度学习解决方案的标准化的工具等等。

不同于大家以往的认知,深度学习究竟是什么呢?这是一种模仿人脑机制分析数据的机器学习方法,从多层抽象中抓取特征。我们认为真正重要的是从数据中提取有用的信息,并通过统计信息作出判断。我们拥有数据科学领域内的权威专家,通过庞大的数据量提高学习性能,最终获得高度具象化的能力。

这种能力是非常强大的,类似于过去二十到二十五年间计算机对于人类的意义。在短短的两年内,深度学习这种新方法就被广泛地应用于工业中了,包括通信、语音处理、图像识别以及视频处理等等,其中大量的数据都可以被人们利用,所以我认为未来的前景是非常光明的。

深度学习的模型有很多,但基本结构都各不相同,可能会导致这些模型具有不同的特性。这里我很快和大家一起回顾一下这些常见的深度模型。

左上角的模型是目前最常用的卷积神经网络(CNN)模型,非常适用于视觉系统和图像分析。右上角的模型是复发性神经网络(RNN)则适用于各种基于时间或序列的建模。金融系统和语言模型通常使用 RNN。其他非主流的方法还有很多,比如下方的这三种:堆叠自动编码器,多层感知器(MLP)和深信度网络(DBN)。未来五年的很多创新将来自堆叠自动编码器领域,但目前我们还不知道要如何开始选取目标。

这里我们可以看到一些真实的实验结果,这个系统通过抽象化实体,提取出丰富的代表性特征,这才是我们真正的力量来源,并且其抗干扰能力很好,无法被轻易改变。

这个的意义在于,可以自动处理以往需要人工完成的任务。我们也做了一些测试,让大家可以看到其性能。目前,训练有素的人类通常错误率为 5%,而深度学习在图像和语音任务中的错误率仅为 3%。因此,我们相信几年后,深度学习在这两方面的能力甚至会远远超越人类。

这是一个深度信用网络,我们看下是如何利用它来解决数据问题。这个系统有两种使用方式:第一种是我们可以输入一些数字对应的手写样式,系统可以利用这些数据样本判断出是哪个对应数字;第二种是我们给定某个数字,系统可以模拟出其对应的各种可能的手写样式。

比如这里,系统根据一系列“5”的手写体判断出这是数字“5”。

再比如这里,当我们输入数字“0”,系统经过一系列手写体样式处理,会实时地显示各种形态各异的“0”,但毫无疑问,从视觉上大家还是可以判断出这是数字“0”。

这是非常有趣的一件事,这意味着我们可以输入一系列实例,从中抽象出具体的共同特征。

这个深度学习平台实现了针对行为探测的 3D 卷积模型,基于 100 种类别、1 万 3 千多个视频的公共数据集,使训练速度比竞争对手的框架快了大约 3 倍。同时,该平台也能扩展到其他场景、对象的识别,行为相似度平行对比,视频检索和异常检测。

其潜在应用包括:在机场或地铁站等乘客密集的场所实施安全监控、交通管制及车辆管理、航空管制侦测、基于面部识别和图像处理的安全系统检索功能、自动驾驶的感知和防撞系统、公共场所的行李检测等等。

语音可以看做是一个个单词的随机组合,所以要将语音转变为文字是很困难的。但是,经过大量的训练,系统也可以识别出大部分的单词。深度学习在语音-文本转换中的表现同样令人印象深刻,诸如百度等等公司的自然语言处理技术已经非常成熟,可以根据需要转换成任何一种语言文字,这就如同魔法一样神奇。

如同历史发展的必然规律,当达到某个拐点后会突然爆发,现在就处于数据科学的拐点处,利用深度学习实现对数据的最大化利用。

CPU 的训练时间是单个 GPU 的三十多倍。

数据并行是最常用的方式之一,每个处理器中都有一个全深度网络,将各个数据容器中的参数统一协调至参数服务器中。但是这并不是最好的方式。

一个更好的方式是模型并行计算,如图所示。

Nervana 的另一个优势在于 I/O 范围。通常处理器越多,深度学习的速度就越快。但是普通的工业系统随着处理器数目的增多,学习速度会达到某个极限值而不再增加。而 Nervana 平台不光能提高单个处理器的学习速度,而且还没有学习速度的上限,可以根据需要不断增加处理器个数。

我们仍在继续努力研发新的技术,力争明年能将现有速度提升十倍以上。

Nervana 平台是一个全栈式解决方案,基于 Nervana 深度学习框架平台和 Nervana 云,实现输入、构造、训练和部署。

深度学习作为 Nervana 的核心竞争力,已经围绕其构建了图像分类、目标定位、视频检索、文本分析、机器翻译等功能。

Nervana 拥有最快的深度学习库。

Nervana 的 Python 深度学习库界面友好,可扩展性强,支持多种深度学习模型,并且提供连接 Nervana 云的接口,还支持多后台(包括Nervana 引擎、 GPU 和 CPU)。

这是系统的网络界面,Nervana 为用户提供了大量可以直接调用的 API。

深度学习的作用在于建立一个发现数据中有用信息的框架,但要使这个框架平台运行速度更快、处理规模更大、解决方案涵盖面更广,仍然有很多困难。

Nervana 目前拥有最先进的深度学习平台,非常便于利用开发出的相关工具,从复杂关系中抽象出有代表性的目标特征。除了之前提过的各种应用外,还可以用于快速定位石油井、天然气田,以及农业精细化运营等。

via NextBigFuture

推荐阅读:

量子的飞跃:下一代D-Wave量子芯片计算速度能快1000倍

最新出炉——数据科学家最常使用的十大算法

本文作者:陈杨英杰

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-08-26 08:14:36

深度 | 做到这些值4亿美元:看 Nervana 如何利用深度学习实现数据革命的相关文章

美业界最大迷惑:为什么Instagram值10亿美元

1Billion! Instagram,13个人,18个月,创造了一个10亿美元公司.对于马克·扎克伯格来说,这是一个面向未来的出价,但对于凯文·西斯罗姆来说,这是失去未来的交易. 美国西部时间4月9日中午12点,当Facebook CEO马克·扎克伯格在他的个人主页上宣布以10亿美元收购图片社交应用Instagram的时候,历史仿佛戏剧化地回到了6年多前那个暧昧不明的场景:2004年底,他曾经邀请过一个叫凯文·西斯罗姆(Kevin Systrom)的校友加盟他刚刚创立的公司:"我们也在做类似的

小米为什么值40亿美元?

摘要: 40亿美元,这一估值使小米成为了国内继腾讯.百度.阿里巴巴.网易之后的第五大互联网公司.小米科技董事长兼CEO雷军(微博)称,投资者此次对小米的估值依靠的不是传统的市盈率, 40亿美元,这一估值使小米成为了国内继腾讯.百度.阿里巴巴.网易之后的第五大互联网公司.小米科技董事长兼CEO雷军(微博)称,投资者此次对小米的估值依靠的不是传统的市盈率,而是"市梦率",赌的是小米能不能做到百亿美元公司. 创业至今仅两年的小米,在追捧和质疑声中被估值到了40亿美元,是小米真的值这个价钱了,

公平与透明:黑莓真的只值20亿美元吗?

看到这个题目也许有人会质疑我们是否搞错了,因为黑莓公司今天宣布,它已同意被加拿大保险公司枫信金融控股公司(Fairfax Financial Holdings)以47亿美元的价格全盘收购.明明是47亿美元,怎么变成了20亿美元呢?原因很简单,因为截至到收购时,黑莓还有26亿美元左右的现金及等价物,那么去除这20多亿美元的现金,枫信金融控股公司实际上只是以20多亿美元就将黑莓收于髦下.业内知道黑莓目前艰难的窘境,即便是这样的话,黑莓真的就仅值20亿美元吗?我们不由想起了业内之前发生的两起与智能手机

centos redis 节点哈希值大小怎么看

问题描述 centos redis 节点哈希值大小怎么看 centos redis 节点哈希值大小怎么看centos redis 节点哈希值大小怎么看centos redis 节点哈希值大小怎么看 解决方案 http://www.zhihu.com/question/42243932

WhatsApp值160亿美元,腾讯推大众点评微信支付!

腾讯前脚刚入股大众点评,FB后脚就将斥资160亿美元收购WhatsApp(40亿美元现金和120亿美元股票). 为什么WhatsApp值160亿美元?这是什么东东呢?WhatsApp这款服务可以帮助用户绕过短信,直接通过应用向其他用户发送信息,而且兼容iOS.黑莓.Android和Windows Phone等多个平台.WhatsApp目前拥有4.5亿月活跃用户,70%(3.1亿)每天使用这款服务.FB还指出,通过该服务发布的信息数量"正在接近全球手机短信发送总量195亿条(据市场研究公司Info

深度操作系统 15 Alpha2 —— 带你领略不一样的深度

深度操作系统是一个致力于为全球用户提供美观易用.安全可靠的Linux发行版. 深度操作系统15 Alpha2采用全新的系统构架,有了脱胎换骨般的改变,系统性能和资源占用均得到了显著提升.此外,本次系统也重点关注国际化,不仅改善了多国语言的显示效果,还首次拥有镜像源加速(CDN加速)功能,无论您身处何地,都能体验到深度操作系统的无限魅力! 那么,此次发布版本与之前的版本有哪些具体的变化呢? 改进,从"芯"开始 得益于系统内部架构的全面优化,深度操作系统15 Alpha2变得更为轻巧灵敏,

吴恩达 NIPS 2016:利用深度学习开发人工智能应用的基本要点(含唯一的中文版PPT)

雷锋网按:为了方便读者学习和收藏,雷锋网(公众号:雷锋网)特地把吴恩达教授在NIPS 2016大会中的PPT做为中文版,由三川和亚峰联合编译并制作. 今日,在第 30 届神经信息处理系统大会(NIPS 2016)中,百度首席科学家吴恩达教授发表演讲:<利用深度学习开发人工智能应用的基本要点(Nuts and Bolts of Building Applications using Deep Learning)>. 此外,吴恩达教授曾在今年 9 月 24/25 日也发表过同为<Nuts a

独家专栏 | 如何利用深度学习搭建一个最简单的无人驾驶系统

雷锋网按:本文为雷锋网独家专栏,作者系佐思产研研究总监周彦武,雷锋网(公众号:雷锋网)经授权发布. 国内最牛的无人驾驶厂家的运算平台是这样的: 一个英特尔至强 E5 的 CPU,拥有 12 内核,30MB 的二级缓存,运算能力为 400GOPS/s,功率消耗为 400 瓦(应该是第一代至强 E5,目前 E5 最高功率消耗都不超过 180 瓦),八个英伟达的 K80 GPU,每一个 K80 的运算能力为 8TOPS/s,通过 PCI-E 连接,每一个 K80 的功率消耗为 300 瓦,合计是 28

《中国人工智能学会通讯》——2.27 利用深度学习改进统计机器翻译

2.27 利用深度学习改进统计机器翻译 利用深度学习改进统计机器翻译的核心思想是以统计机器翻译为主体,使用深度学习改进其中的关键模块,如语言模型[1] .翻译模型 [2] .调序模型 [3] .词语对齐[4]等. 深度学习能够帮助机器翻译缓解数据稀疏问题.以语言模型为例.语言模型能够量化译文的流利度,对译文的质量产生直接的重要影响,是机器翻译中的核心模块.传统的语言模型采用 n-gram方法,通过极大似然估计训练模型参数.由于这种方法采用离散表示(即每个词都是独立的符号),极大似然估计面临着严重