探访FB人工智能数据中心:推动深度学习的引擎

在美国西部登陆Facebook帐号,你的资料就很可能被一台由杜松和俄勒冈中部沙漠地区夹杂鼠尾草气息的空气而冷却的电脑调出。

在人口大约为9000人的小镇Prineville,Facebook存储了数以亿计的海量数据。一排排的电脑被安放在四座巨大的,总计八十万平方米的建筑里。它们整齐地排放着,好像要让来自西北的干冷风吹拂过每一台电脑。每当用户登录,点赞或者是发送LOL的时候,这些闪着蓝绿色光的服务器都会发出沉闷的低吼。

Facebook最近刚加入一些新机器到Prineville的服务器大军中。同时,公司也装载了新的大功率服务器,旨在加速对软件翻译、更聪明的虚拟助手以及文字识别等人工智能技术的训练。

Facebook新的Big Sur服务器是围绕本来为图片处理而开发的大功率处理器——GPU来设计的。这些处理器加强了最近人工智能的一个技术飞跃——深度学习。由于GPU使得如何训练软件的旧观念被运用到更广大更复杂的数据集中,软件可以变得惊人的“善解人意”,特别是在理解图片和文字方面。

Kevin Lee,Facebook一位致力于服务器工作的工程师表示,他们在帮助Facebook的研究员们通过以运行更快、使用更多数据的方式来训练软件。”这些服务器是人工智能和机器学习研究的专用硬件。GPU可以记录一张照片,把它们分成无数小像素,然后同时处理。”

每8个GPU就配置一台Big Sur服务器,Facebook使用的是擅长于图像识别的半导体供应商Nvidia制造的GPU。Lee没有确切表明到底配置有多少服务器,但是据他所说,有数千块GPU在工作着。公司的Prineville,Ashburn和Virginia的数据中心都安装了Big Sur服务器。

因为GPU极其耗能,与数据中心里其他服务器不同,Facebook不得不把它们排放松散,以免产生过热点,给冷却系统带来麻烦,以至于耗能更多。现在每个七英尺高的架子里都只能放下八个Big Sur服务器,而这些架子过去可以容纳30个只负责做一些用户数据处理等日常工作的Facebook常规服务器。

在运行大数据中心和运用GPU来进行机器学习研究这些方面,Facebook不是唯一一家。海内外的巨头,比如微软、谷歌以及百度等也运用GPU来进行深度学习的研究。

社交网络是非比寻常的。它开创了Big Sur服务器设计、其它服务器设计,以及建立Prineville数据中心的新纪元。公司把这些设计和计划捐献给了一个非盈利项目——开放计算项目(Open Compute Project)。这个项目由Facebook于2011年发起,旨在鼓励计算机公司互相协作,设计出低耗高效的数据中心硬件。这个项目至今已经帮助了数家亚洲硬件公司,抢占了一些传统供货商如戴尔和惠普的市场。

Facebook AI研究项目的主管Yann LeCun说道,当今年早些时候Big Sur服务器宣布使用的时候,他相信该技术通用之后,会有更多组织建造强有力的机器学习基础设施,然后加速此领域的发展进程。

不过,未来机器学习服务器建造的计划可能不会以GPU为核心,如今很多家公司在致力于新芯片的设计。相比于GPU来说,这种芯片是特别为深度学习的算法而制作的。

今年五月,谷歌宣布其已经开始使用自己设计的TPU芯片来驱动产品中的深度学习软件,如语音识别。在训练之后,这一代的芯片似乎更适合于运行算法,而不是像Big Sur服务器一样,最初的训练步骤是为了加速。但是,谷歌已经开始第二代芯片的研究。Nvidia和其它几家新公司包括Nervana也在开发为深度学习定制的芯片。

普渡大学副教授Eugenio Culurciello表示,深度学习的有效性意味着这种芯片将会被广泛应用。“市场对这种芯片已经有巨大需求了,而且这种需求只增不减。”

当被问到Facebook是否在开发定制芯片时,Lee表示,公司正在“研究中”。

====================================分割线================================

本文转自d1net(转载)

时间: 2024-10-22 21:17:00

探访FB人工智能数据中心:推动深度学习的引擎的相关文章

简单读懂人工智能:机器学习与深度学习是什么关系

引言:随着AlphaGo战胜李世石,人工智能和深度学习这些概念已经成为一个非常火的话题.人工智能.机器学习与深度学习这几个关键词时常出现在媒体新闻中,并错误地被认为是等同的概念.本文将介绍人工智能.机器学习以及深度学习的概念,并着重解析它们之间的关系.本文将从不同领域需要解决的问题入手,依次介绍这些领域的基本概念以及解决领域内问题的主要思路. 本文选自<Tensorflow:实战Google深度学习框架>. 从计算机发明之初,人们就希望它能够帮助甚至代替人类完成重复性劳作.利用巨大的存储空间和

【BDTC2014观察】大数据会与深度学习划等号么?

2014中国大数据技术大会在12月14日正式落下帷幕,近百位技术专家在这里分享了他们的最新研究与实践成果,本文来自中国经济网经营顾问杨静,主要解读了大数据与深度学习之间的联系,以及未来行业技术的发展. 以下是作者原文: 2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014

《Web安全之机器学习入门》一 1.1 人工智能、机器学习与深度学习

1.1 人工智能.机器学习与深度学习 如今,人工智能.机器学习与深度学习几乎成了家喻户晓的名词,究竟这三者之间有什么联系和区别呢? 通常认为,机器学习是实现人工智能的主要方式,人类基于机器学习以及海量的数据,逐步实现人工智能,其中深度学习是机器学习的一个分支.如果用同心圆来表示三者的范围,那么人工智能是最外面的一个圆,深度学习是最里面的圆.人可以在1秒以内做出的判断,都可以用机器来实现,而且机器可以同时完成成百上千人1秒内可以做出的判断,这就是人工智能.

一篇文章搞懂人工智能、机器学习和深度学习之间的区别

概述 2015年11月9日,Google发布人工智能系统TensorFlow并宣布开源.这两年在不管在国内还是在国外,人工智能.机器学习仿佛一夜之前传遍大街小巷.机器学习作为人工智能的一种类型,可以让软件根据大量的数据来对未来的情况进行阐述或预判.如今,领先的科技巨头无不在机器学习下予以极大投入.Facebook.苹果.微软,甚至国内的百度,Google 自然也在其中. 去年早些时候 Google DeepMind 的 AlphaGo 项目在举世瞩目的围棋比赛中一举击败了韩国选手李世石,媒体就是

人工智能、机器学习、深度学习的区别在哪?

有人说,人工智能(Artificial Intelligence)是未来.人工智能是科幻小说.人工智能已经是我们日常生活的一部分.所有这些陈述都 ok,这主要取决于你所设想的人工智能是哪一类. 例如,今年早些时候,Google DeepMind 的 Alphago 程序击败了韩国围棋大师李世乭九段.人工智能.机器学习和深度学习这些词成为媒体热词,用来描述 DeepMind 是如何获得成功的.尽管三者都是 AlphaGo 击败李世乭的因素,但它们不是同一概念. 区别三者最简单的方法:想象同心圆,人

绿色创意2.0 探访阿里千岛湖数据中心

本文讲的是绿色创意2.0 探访阿里千岛湖数据中心[IT168 云计算]一直以来,数据中心的选址一般都要综合考虑周边的自然环境,从而因地制宜的采用外界自然资源来帮助数据中心节电.节能,有效缓解数据中心的超高能耗.在美国硅谷的几大互联网巨头与云巨头,他们在数据中心的选址上,或多或少的都借用了自然环境的力量.为了更好的探索数据中心建设的创新法则,Amazon.微软.谷歌.Facebook等这样的超级公司,都曾经报道过采取诸如海水制冷.沼气循环.风能发电等方式,在创新数据中心建设的道路上不断尝试. 9月

汉柏推出了基于云计算的入侵防御系统,与传统防火墙组合为企业数据中心提供深度防御的最优选择

随着信息化和网络的普及,尤其是云计算.数据中心及互联网的发展,针对企业.机构数据中心的蠕虫病毒.漏洞攻击.注入攻击.跨站攻击.DDoS攻击等也有常态化的趋势,极大困扰着用户.尤其,云计算.各种新型互联网应用的普及,以及智能终端的多样性和网络通道的多元化,导致各种新型的攻击愈加繁杂,使得危害和破坏变得更加隐蔽.用户除了部署常规安全防御系统外,更需要一种在线部署的产品,来对各种单一或混合攻击实现实时地检测和阻断,同时要在保证高性能处理时避免误报和漏报发生. 针对数据中心入侵防御的安全需求,汉柏推出了

中国人工智能学会通讯——后深度学习时代的人工智能

1956 年,在美国达特茅斯学院举行的一次会议上,"人工智能"的研究领域正式确立.60 年后的今天,人工智能的发展正进入前所未有的大好时期.我今天作的报告,将通过分析时代的特点,这个时代下人工智能与计算机的可能命运,来重新认识人工智能.认识我们赖以生存的计算机,还有我们自己. 后深度学习时代的前提 我们看到如今人工智能的春天又来了,不过和 30 年前日本兴起的人工智能热潮相比,发生了如下变化:时间不同.地点不同.主题也不同.这次人工智能的大发展与深度学习紧密相关,体现在:① 从知识情报

Facebook人工智能实验室主任的深度学习之路

[编者按]目前,各大科技巨头包括谷歌.微软等都在大力发展深度学习技术,通过各种方式挖掘深度学习人才,马克•扎克伯格任命Yann LeCun担任Facebook人工智能实验室主任.这些高科技公司正在探索深度学习的一种特殊形态--卷积神经网络,对于可视化卷积神经网络, LeCun的付出远甚于他人. 以下为原文: 马克•扎克伯格精心挑选了深度学习专家Yann LeCun担任Facebook人工智能实验室的负责人.该实验室于去年年底成立.作为纽约大学任教已久的教授,Yann LeCun对深度学习的研究成