百度云计算硬件基础设施首度曝光 惊艳业界

  2013年1月11日,随着百度南京数据中心的“开放日”迎来首批嘉宾访客,百度云计算硬件基础设施的神秘面纱也逐步显现。记者从嘉宾的口中以管窥豹,了解到五大核心看点,为您首度披露百度背后的数据中心硬件架构。

  业内专家同时对记者表示,以前只是对百度的搜索引擎技术、软件专利比较熟悉,但没有想到,百度在硬件和软硬结合的数据中心领域,也有惊人的表现。通过百度南京数据中心的“开放日”,专家们认识到,以百度为代表的中国互联网公司,已经在互联网技术领域积累了先进技术经验,丝毫不落后于国外领跑者。可以相信,在百度等公司的推动下,中国互联网与移动互联网,必将迎来更加蓬勃发展的明天。

  云数据中心:因何而生?

  当越来越多的网民开始“百度一下”的时候,百度公司面临的数据处理的压力也与日俱增。据统计,百度拥有的数据总量达到上百PB,日处理量达几十PB。PB是Petabyte的简称,它是较高级的存储单位,1PB=1024Tb(Terabyte)=1024*1024GB(Gigabyte)。1PB相当于4千亿页文本。

  按照百度的日处理量几十PB,我们假设按照60PB来计算,平均分摊到15亿中国人头上,相当于每个中国人要处理16000页文本,约等于700多页厚的新华字典,要摞起来厚厚的20多本。如此巨大的数据量,还并不是困难的全部。百度要处理的数据,往往是结构化与非结构化并存,系统数据对数据一致性要求强弱程度不同,用户对数据的访问行为存在不确定性,即在毫无征兆的情况下,对某些信息进行突发式访问等。

  面对新时期的挑战,传统的数据中心的成本就显得格外高昂。相比传统数据中心功耗高、IT设备负载低的弱点,云数据中心具有天生的优势,IT负载可以灵活调配,资源可被近实时的按需调节,极大地避免了浪费。数年前,百度技术高管已经有了决断:要加快数据中心节能降耗进程,大幅降低成本。“以单体10万台服务器的数据中心为例,PUE(电能使用效率指标)每降0.1,一年就可为百度节约上千万元的成本;如果选择能源丰富的地理位置以降低电价,百度每年还可节约千万元成本。”数据中心节能的价值不言而喻。数据将爆发增长,数据中心规模也将随之快速扩张,因而,提前进行数据中心节能设计,为百度未来数据中心降低能耗、节省成本打下了坚实的基础。

  百度云计算硬件基础设施亮点之一:ARM服务器体系架构全球首次正式商用

  传统以来,PC与服务器界,INTEL INSIDE的标志几乎是不可更改的习惯,但是,你知道iOS、Windows Phone、Android这3大平台的手机共通点是什么吗?那就是这些手机CPU全都是采用ARM芯片。i美股《移动处理器“小巨人”ARM》报告披露,2011年全球智能手机出货4.7亿部,ARM架构芯片占90%,功能手机出货6.6亿部,ARM架构芯片占95%,硬盘和固态驱动器出货7亿,ARM占90%,数码相机1.5亿台,ARM占80%……

  

  图:百度云数据中心在全球首次实现了ARM体系架构的正式商用

  百度云计算硬件基础设施的第一大亮的即是在全球首次实现了ARM体系架构的正式商用,也是ARM体系首次服务于云数据中心的规模化应用。ARM专为百度云服务设计,基于云平台将软件与CPU指令集解耦,实现了轻计算负载,高存储密度,存储密度提升了70%,TCO降低了25%。而为了达成低功耗,低成本,百度也实现了指令集变迁,即一套代码,两种平台(X86&ARM)。

  百度ARM服务器拥有10个以上的发明专利,是ARM全球首个Server端规模应用,并且是服务于云数据中心的规模应用,充分彰显了百度在移动计算上的技术领先性。

  百度云计算硬件基础设施亮点之二:国内首个大规模部署定制化整机柜服务器

  国内第一个大规模部署自主设计的定制化整机柜服务器,该项成果承载着百度自主研发与百度数据中心相匹配的、贴近业务需求的、具备最佳TCO的整机柜服务器解决方案的重任。  

  

  图:百度定制化整机柜服务器

  第一批百度自主开发的整机柜服务器(200个rack机柜)已经在南京云数据中心上线。TCO(整体拥有成本)下降10%,峰值交付效率提升10倍。

  百度云计算硬件基础设施亮点之三:中国互联网业内最大万兆接入服务器集群

  据参观了百度南京云数据中心的专家透露,目前,该数据中心建成了目前国内互联网行业最大的万兆集群,集群规模超过5000个节点。基于百度自主研发的万兆ToR交换机以及低成本低功耗接入介质,该集群相对于传统的千兆集群,服务器节点带宽提升了3-10倍,同时硬件采购成本以及TCO仅分别上升8%和不超过5%。

  另据了解,该机房使用了百度自主研发的,基于64核处理器的负载均衡系统,该系统可以为业务提供最大320G的负载均衡以及DDoS攻击防御服务,而其成本不到商用设备的10%。

  百度南京云数据中心实现了两大革命性突破:不仅是国内互联网行业最大的万兆集群,也是国内首家大规模部署自研万兆交换机的数据中心。

  百度云计算硬件基础设施亮点之四:SSD自主研发

  如何处理海量数据的实时存储?面对百度海量数据存储需求的不断提升、软硬件架构从传统层次结构向竖井结构的变迁、On Demand定制软硬件的业界趋势,百度推动了SSD自主研发的进程。

  在系统上,百度实现了从传统层次结构向竖井结构的变迁,同时,也实现了软硬件的高度协同和融合,如硬件多通道对应用可见,应用控制数据并发应用,显式擦除无用数据,避免性能波动;在软件上,实现了轻量级文件系统和IO系统,绕开Linux文件系统及IO协议栈,降低了访问延时和系统开销;而在硬件上,则根据百度数据访问模式定制,写放大系数恒为1,不需要预留冗余空间,同时,实现计算和存储的融合,可以作为计算协处理器应用。

  SSD自主研发为百度云数据中心带来的好处是显而易见的,性能比主流PCIE flash卡好2倍,每GB成本降低40%;性能比主流SATA SSD好6倍,每GB成本降低10%,目前在百度网页库大规模使用,已经获得3个发明专利,完成和投出2篇学术论文。

  百度云计算硬件基础设施亮点之五:自建数据中心年均PUE1.37,国内最佳

  PUE(Power Usage Effectiveness)是国际上通用的数据中心能源使用效率衡量指标。PUE=数据中心总设备能耗/IT设备能耗,是一个比值,PUE越接近1表明能效水平越高。国内数据中心PUE目前平均值约为2.5,这意味着IT设备每消耗1度电,就有多达1.5度的电被IT配套基础设施消耗掉了。若全国数据中心PUE均值从2.5降低到百度的1.37,则节能率达到45.2%,保守估计全年可节电超过35亿度。

  经过多年探索与实践,百度提出“节能从源头开始,软件、IT设备与基础设施协同”节能理念;“关注基础设施系统的每一个环节,把每一个方面做到极致”,最大限度地降低各个系统的能耗。百度结合国内自然环境及产业条件,推动多种节能技术在自建数据中心最佳实践。如:优化供电结构,减少转换损耗;首次规模应用市电主供、冗余电源备份方案;采用冷机变频、空调末端Ecfan等技术提高设备能效;提高供回水温度,延长免费冷却时间;采用CFD优化气流组织设计…… 最终通过运维调优,自建数据中心全年约50%时间实现完全免费冷却,年均PUE 1.37,最佳PUE 1.18,成为国内最节能、最环保的数据中心。

时间: 2024-09-20 03:49:00

百度云计算硬件基础设施首度曝光 惊艳业界的相关文章

百度云计算硬件基础设施首度曝光

2013年1月11日,随着百度南京数据中心的"开放日"迎来首批嘉宾访客,百度云计算硬件基础设施的神秘面纱也逐步显现.记者从嘉宾的口中以管窥豹,了解到五大核心看点,为您首度披露百度背后的数据中心硬件架构. 业内专家同时对记者表示,以前只是对百度的搜索引擎技术.软件专利比较熟悉,但没有想到,百度在硬件和软硬结合的数据中心领域,也有惊人的表现.通过百度南京数据中心的"开放日",专家们认识到,以百度为代表的中国互联网公司,已经在互联网技术领域积累了先进技术经验,丝毫不落后于

百度钱包惊艳亮相CJ加速进军网游支付

2014 ChinaJoy开幕第一天,各大游戏厂商纷纷使出浑身解数希望引起游戏玩家的关注,不仅有靓丽性感的showgirl让宅男大饱眼福,厂商还纷纷拿出礼物刺激玩家驻足.但就在这注意力稀缺的chinajoy上,百度公司旗下支付品牌百度钱包的首次亮相仍惊艳全场,"史上最便宜CJ门票"."一分钱畅饮"."10万现金红包寻宝"三弹齐发,如此贴心的优惠让百度兑票服务台和1分钱赠送冰饮的E4展馆从当天一开展就吸引了大批玩家争相排队,在CJ现场刮起了一阵&q

惊艳!美专利局曝光三星最新曲面屏专利

[环球科技报道记者陈薇]据国外媒体8月25日报道,美国专利商标局上周审核了三星的新专利--可弯曲式屏幕.这件三星于今年2月提出的专利申请案,较2013年发布的版本更令人惊艳,不仅可以反向折叠,还可以固定折叠后的角度,让手机可以立在桌面上.从图中可以看出,这款屏幕能够达到180度的完全折叠,并且可以在手机的不同部分折叠,比方说单折起按键部分.从这些消息可以看出三星坚持柔性面板的走向,并意欲借此巩固智能型手机市场的龙头地位.

百度云计算和大数据首席架构师林仕鼎辞职 投身创业

据可靠消息,百度的重要技术精英骨干, 云计算和大数据首席架构师林仕鼎今天正式辞职!离开百度. 近几年来,百度的框计算使得其搜索结果呈现出更丰富的内容,在这背后,离不开百度数据中心.百度网页存储与处理平台的贡献,这些都是林仕鼎在百度7年间最重要的工作. 林仕鼎于2007年10月加入百度,任网页搜索部高级研究员.主任架构师,主持开发了百度新一代网页存储与处理平台--百灵,这个平台帮助百度搜索引擎实现了网页与索引的跨量级增长. 2011年10月开始,开始担任百度云首席架构师,推动了百度建立了百度·移动

摩尔定律都二变三了 硬件基础设施还有救吗

前几天收拾房间的时候,笔者从杂物间里搜出来一个壁挂钟.没错,就是晚上会发出"滴答.滴答"声的老式壁挂钟,相信70后或80后对这种老古董还记忆犹新,多少个夜晚就是这有节奏的钟摆声陪着我们入眠.但在这个电子设备消灭一切机械设备的时代,大部分人家里早就没有了这美妙的"滴答"声,可能甚至连电子壁挂钟也没有了,一台手机搞定一切. 在另一个维度的世界,"Tick-Tock, Tick-Tock"也像钟摆声一样维持着电子世界的秩序,不管是PC.服务器还是数据中

Goccia是一款比Misfit shine更惊艳的产品

不单是我们一家认可新硬件和可穿戴的未来,错过了移动手机浪潮的Intel也把重心放在这步棋上.近两年里,Intel在新硬件领域动作频繁,芯片端有Atom.Quark和Edison等低功耗芯片,图像识别方面有RealSense 3D摄像头,另外还以1亿美元全资收购了智能手表公司Basis,全面开花的节奏. 近日,Intel联合36氪一起推动可穿戴设备挑战赛,面向全球征集可穿戴领域的点子和创业者,不管你是只有最初的idea,还是已经有了原型产品,都可以来试试,优胜者最高可获得50万美元的奖金,以及In

惊艳纯美夜拍神器 R1白色版神秘流出图赏

作为"外貌协会"的新成员,OPPO R1自曝光以来,性感.优雅.通透的流光镜面吸引不少关注.今日,小编收到OPPO R1 白色版美图,依旧惊艳.依旧貌美清新. 白色R1流光镜面倒影反射的效果看起来没有黑色版的强烈,但是整体色泽纯粹.洁白,如有陶瓷釉面.配合图中的发黄的书籍,散发出淡淡的雅致. 与此同时,R1整体机身厚度为7.1mm,虽不是最薄的手机,但是整体看起来非常纤薄,搭配着玫瑰金的金属中框,整体质感非常精致. 从曝光的图片看,OPPO R1将搭载http://www.aliyun

林志玲罗马惊艳写真与温丝莱特PK东西方魅力

艾西瓦娅-雷.凯特-温丝莱特和林志玲(1/21张) 2010年9月10日,在罗马宣传代言的品牌表新款系列的林志玲,继9月8日优雅亮相后,当地时间9月9日再度和奥斯卡影后凯特·温丝莱特(Kate Winslet).印度女星艾西瓦娅·雷(Aishwarya Rai)站台争妍斗艳.三人拍摄写真时的花絮照也 曝光. 三人礼服款式各不相同,林志玲以高贵的紫色抹胸裙子亮相惊艳四射,露出雪白的香肩娇嫩欲滴,拍照时微微露笑散发出迷人的东方气质.白嫩温丝莱特则为彰显成熟魅力的黑色双肩裙,艾西瓦娅穿的是裸色单肩裙,

天雷轰轰 “U盘叔”末日前惊艳亮相

身为一位广州的大学生,自然能看到各种各样的活动,而且也对所有公司在校园举办的活动都有着莫大的兴趣,因为时不时的就能拿到点奖品,还能看到很多平时看不到的漂亮美女.不过参加多了,也大都千篇一律了,但还总是抱着莫名的期盼前去,说不定就能遇到什么好玩的事情. 随着12月21日的不断临近,虽然是否有世界末日仍然不得而知,但欲在"世界末日"前疯狂一把,竭力玩转各种无厘头搞怪行为的消息却不绝于耳.各路奇人轮番上马,都把"世界末日"变成全民狂欢的节日.而就在前两天,在百度云的一次校