机器学习工具在数据中心的应用与发展

在互联网诞生之初,数据中心规模很小并且很简单。一个大型电子商务服务数据中心仅用几个19英寸机架来部署所需的服务器,存储器,以及网络设备。如今,超大型数据中心成千上万的硬件设备部署在数千个机架上。随着数据中心设计的变化,这些大型数据中心或建在靠近大型人口中心,或建在电力廉价的偏远的地区。

随着数据中心运营的自动化的发展,像AWS或微软 Azure这样的公共云供应商所雇用的高级数据中心工程师越来越少,数量通常比安全人员和普通技术工人更少。更少的人员管理更多服务器,这意味着监控数据中心电力和冷却基础架构需要更多依赖传感器,这些现在都被称为物联网硬件。这些硬件有助于在一定程度上识别问题,但是在很多情况下,传感器并不能代替经验丰富的设施工程师。例如,通过声音辨别设备运行的情况,通过声音还可以了解哪个个风扇将出现故障或通过水滴的声音来定位泄漏的地方等等。

谷歌公司为机器学习而定制的采用张量处理器(TPU)的服务器机架

数据中心管理人员需要更多的传感器来监控现代数据中心基础设施,新一代应用程序旨在通过将机器学习应用于物联网传感器网络来来填补这一空白。这个想法是将经验转变成规则来帮助传感器辨析声音和影像,例如,为数据中心增加一个新的自动化管理层,可以预测和防止数据中心基础架构的故障。 451 Research公司分析师Rhonda Ascierto表示:“快速的恢复时间和有效的容量配置也可以降低数据中心风险。”

结合DCIM和多样性的数据

第一步是利用数据中心基础设施管理或DCIM软件中的预测分析。以位于加利福尼亚州奥克兰的一家名为Vigilent公司的软件为例。“控制系统基于机器学习软件,用于确定变量之间的关系,如机架温度,冷却单元设置,冷却能力,冷却冗余,功耗和故障风险。它通过打开和关闭各相关单元来调节冷却单元,包括变频器(VFD),上下调节变频器,以及调节单元的温度设定值。”Ascierto说。它使用无线温度传感器,并预测如果操作员采取某些措施会发生什么,例如关闭冷却单元或增加设定点温度。

另一个例子是英国Oneserve Infinite公司,该公司将传感器与多种数据点相结合,例如使用天气条件,以提供称之为“预测性现场服务管理”的Exeter.其目的是预测维护要求,避免故障停机,并将停机时间降至最低。 Oneserve公司首席执行官Chris Proctor表示,通过应用这些技术,可以同时处理战略规划和采购。“数据中心将能够更准确,有效地管理资产和资源。”(据悉这种功能尚未在任何数据中心中使用。)

Oneserve公司更关注的是维护问题,跟踪了解过去维护中的问题,允许用户详细地说明每次出现问题的地方。在现在,这依然是一种非常费时费力的人工操作方法,但是将来工作人员会利用这种数据来训练机器学习系统。

挖掘人类的知识

将传感器数据与运维经验相结合的例子是圣荷西的LitBit公司。根据该公司创始人兼首席执行官Scott Noteboom的说法,他们曾经为雅虎和苹果公司提供数据中心战略,LitBit公司的数据中心人工智能或DAC(数字模拟转换器),允许运营商对机器进行培训和调整,向工作人员学习可以获得响应数据中心的事件的能力,从而提醒操作人员或最终自动执行操作。LitBit公司方法的关键是采用一种辅助学习形式,当系统检测到新的异常事件时,系统会向操作人员发出警报,然后运营商将来制定一套对这些事件做出反应的规则。为了收集数据,LitBit公司有一个移动应用程序,可以接受视频,然后将其转换成数千个图像进行培训。

这家初创公司提供了一个托管云服务,可以利用许多用户的匿名数据来构建更复杂和更准确的模型。一些客户会将他们的训练模式进行保密,而另外一些客户可能会将其作为额外的收入来源对外出售。正如Ascierto所指出的那样,“数据中心管理数据的价值在大规模聚合和分析时会倍增。通过将算法应用于许多客户聚集的大型数据集,包括不同类型的数据中心和不同的位置,供应商可以预测设备何时出现故障,以及何时会出现冷却阈值。

当具有知识经验的操作人员不在身边时,一些隐含的知识可以帮助系统在操作中来识别问题并做出更快的反应。数据中心人工智能可能不会完全替代数据中心工作人员,但它可以不断地增强技能帮助运维人员解决问题。

这个领域还不成熟,但发展速度很快。对传感器进行机器学习正在迅速发展,并被广泛应用于各行各业。微软研究部门一直在与Sierra 系统公司合作,开发基于机器学习的油气管道缺陷的音频分析,利用其认知工具包来帮助对出现的异常进行分类。

基于人工智能的数据中心管理服务是新兴技术,目前还在发展中,还需要进行大量的培训。 Ascierto指出,企业的DCIM软件可能需要更多的传感器。 “如果企业想利用人工智能进行端到端冷水机组到机架的决策,那么其设备以及环境传感器和电气仪表将需要安装声学和振动传感器。如果目标是优化和自动化冷却单元的设定点温度,则可能每个机架(顶部,中间,底部)需要多个环境传感器。

人工智能系统正式交付使用还将需要一定的时间,就像数据中心招募的新的工作人员一样,不过类似的机器学习工具终将可以真正的帮助您运营数据中心。

本文作者:李超  

来源:51CTO

时间: 2024-12-02 22:28:02

机器学习工具在数据中心的应用与发展的相关文章

数据中心不同时期的发展状态

我国的数据中心发展的速度是很快的,在2010年的时候总数量是504,155个,市场的总规模已经达到92亿美元,IDC预测该市场在2015年的规模将会达到157亿美元.关于数据中心的发展我们做以下的分析,看一下每一个时期的发展状态是什么样的. 首先是发展的初期 数据中心这个概念首次进入中国是随着互联网进入的,当时在这个领域就引起了建设的热潮.同时也是因为互联网的局限性,用户对于数据中心的需求受到了限制,特别是在2001年,互联网泡沫破灭,这个时候数据中心的发展进入蛰伏期. 接着是数据中心发展的中期

康普吴健:未来,数据中心的两个发展方向是集中化和边缘计算

你知道在互联网上每分钟会有多少事情发生吗?人们每分钟在线搜索240万次.发送电子邮件1.5亿封.观看流媒体视频累计近7万小时.在中国,人们每60秒就会进行420万次百度搜索,使用支付宝进行12.2万次在线交易. 全球对带宽的需求呈指数级增长 "这种情况在短期内不会改变."康普公司北亚区技术总监吴健在采访中向记者表示:"万物互联时代,全球对带宽的需求呈指数级增长.尤其是视频对带宽容量的需求将越来越大.预计到2019年,在线视频所产生的互联网流量将占到互联网总流量的80%以上.&

数据中心是公有云发展的基石

前不久,摩根斯坦利发布报告称,阿里巴巴旗下的阿里云虽然刚成立七年,却单独估值已经达到390亿美元,和电商.支付共同成为阿里巴巴的三驾马车.由此可见,投资界是多么看好阿里云的未来,毕竟投资投的就是预期和未来.阿里云席卷了全球的公有云市场,尤其是国内市场,一度占领超过50%的市场份额,并开始盈利.这让腾讯.百度.京东等大佬都有些坐不住了,"京东云"甚至最近内部要求管理干部执行"996"的工作制,抢占公有云市场.腾讯最近不断推出云产品,包括五款数据库新品和黑石,用意非常明

解析机器学习应用:数据中心和云计算成为企业新战场

机器学习作为一种实现人工智能的方法,近年来成功案例数日益攀升,已经从一个相对模糊的计算机科学概念,迅速发展成为企业经济的影响因素,因此,机器学习领域存在大量的资金投入也就一点儿也不让人感到奇怪了. 麦肯锡公司的一项调查显示,在2013年至2016年期间,人工智能开发投资总额增加了两倍,其中大部分投资--200亿至300亿美元--都来自一些科技巨头,这些公司希望能够产生机器学习以及其他人工智能模型,而这些技术在未来对于他们的客户来说,会变成像今天的移动和网络一样至关紧要的东西. 人工智能技术之所以

日志分析工具:数据中心管理的新装备

一种新型管理工具正在IT组织中成为主流.和繁琐的测试或评估方法不同,这些新兴工具关注的是系统和应用程序最常见的共同点:日志文件.   在复杂而严苛的数据中心环境中,通常会使用一些成熟的管理工具来查找隐患,但是这些工具无法感知细微的因果关联,数据中心的日常排错和优化目标难以实现.日志分析工具可以填补这些空缺,让IT专业人员在面对复杂的数据中心基础架构时能做出更有效和正确的决策. 几乎所有的系统和应用程序都会产生日志文件.日志是带时间标记的足迹,记录行为.条件和事件.在实际环境中,单独的日志文件价值

六大工具强化数据中心虚拟化架构

你是否正在寻找免费的工具或者针对虚拟http://www.aliyun.com/zixun/aggregation/13748.html">基础架构的产品?这篇文章会让你有所启示.无论是物理基础架构还是虚拟基础架构,管理起来都不容易,但是拥有正确的工具能让这个过程变得更加轻松一些.企业管理者和技术人员都对正确的工具青睐有加.而正确的工具并不总是那些价格昂贵的工具.以下介绍的六款产品可以强化你的虚拟基础架构,从免费软件到商用企业级数据中心硬件都涵盖其中. 1. Veeam FastSCP 免

STT GDC公司关注数据中心市场的进一步发展

总部位于新加坡的ST通信全球数据中心(STT GDC)在过去几年中一直致力于在全球主要市场的扩张.例如,STT GDC与GDS服务公司合作,进一步扩大和发展其在中国的数据中心组合,并与英国的Virtus公司成立一家合资公司,并获得在印度和新加坡的塔塔通信公司数据中心业务的多数股权. STTGDC公司新加坡和全球联盟集团总经理Chris Street透露了其组织的计划和方向,特别是该公司在新加坡的数据中心枢纽,现在成为了以建筑面积计算的最大数据中心运营商. STTGDC公司新加坡和全球联盟集团总经

对象存储在数据中心的滚雪球式发展

如今,现代企业的业务核心就是数据.虽然数据存储一直在企业运营中发挥了不可或缺的作用,但在过去,人们却很少考虑其成功的关键.这是因为那时的数据还没有被确认为非常宝贵的财富,并强大到足以决定公司的命运,而如今则有所不同,得到人们的重视. 然而,我们目前正在对数字革命重新定义,企业和个人的自身行为方式也在相互发生作用.大数据集,海量信息和洞察力现在被认为是箱子中的宝贝,可以给企业带来竞争优势. 魔鬼叉子 不可能实现的事情 到2020年,机器生成的数据量将是人类创造数据量的15倍.而常见的IT最佳实践的

重新定义数据中心 解读液冷服务器发展潮流

随着移动数据.云计算和大数据业务的迅猛发展, 数据中心建设规模越来越大,数据中心拥有者对数据中心节能的诉求,也逐渐突显出来.近年来,出现了许多数据中心节能新技术,但都没有突破思维瓶颈, 一直孤立地关注数据中心基础设施层面本身的技术创新,并未将服务器设施层面纳入数据中心节能工程中, 统一地.系统地思考数据中心的节能问题,造成数据中心的设计PUE值难以突破1.60这个极限. 曙光液冷服务器PHPC300 行业诟病困扰数据中心降耗节能 2000年前后的互联网泡沫,给人类留下的技术遗产是服务器形态的革命