大数据将如何影响数据中心的命运

  “大数据” 需要大量计算资源来存储、组织处理与报告结果。这一新兴领域改变了数据中心服务器与其他基础设施的选择与部署方式。

  为了在现今的商业环境中竞争并获得成功,公司必须通过对现有数据进行多维度的分析,才能做出业务决策。分析这些不断膨胀的大数据已经成为越来越重要的趋势与机遇。

  SearchDataCenter咨询委员会将介绍受大数据影响的商业模式,如何改变企业数据中心的运作,并为大家提供关于新数据中心机会的独特见解。

  只需添加SAN

  独立培训师兼顾问Sander van Vugt

  大数据其实不是个很严重的问题。我的意思是,数据中心不会突然因为大数据的来到而突然变更他们处理海量数据的方式。

  我的看法相当简单:只需添加另一个存储区域网络(SAN),现在的SAN比早期具备更高的可扩展性。这意味着企业可以开始学习处理两个不同等级存储网络的数据:一个是他们正在使用的关键数据,一个是仍然需要被保存,但不那么重要的数据。

  业务应用会带来越来越多的大数据机会

  IT研究与分析公司Quocirca的创始人兼IT研究与服务总监Clive Longbottom

  我们还处在真正企业级大数据的起跑线上,路还很长。

  现在,数据中心使用存储虚拟化来组织联合数据源。商业智能(BI)提供更先进的大数据处理方案,如Pentaho、Logi、QlikTech与Birst。基于Java的编程框架Hadoop被更先进的企业作为非持久性过滤器来处理多重数据类型。NoSQL 数据库,例如MongoDB与CouchBase,成为处理非结构化数据的有效利器。管理工具则有Splunk,可以协助完成服务器之间的数据文件管理等工作。

  这些工具都需要使用自己的基础设施来支持,并需要精心设计以得到理想的结果。分析及服务提供商不断涌现,提供BI与云计算能力——许多组织最终都会朝这个方向发展,以避免混合环境的复杂性。IBM、Teradata、EMC与其他厂商提供混合设备来满足业务需求,可以满足用户保留所有在线数据并从外部资源吸取额外的信息。混合设备处理架构处理介于与非结构化数据,处理方式比当前的大数据结构更加工程化,但造价也相当不菲。

  选好服务器、存储与架构

  

  高级技术编辑Stephen J. Bigelow

  选好用于数据分析的工具,如Hadoop与MapReduce软件,它可以将任务分布到数千节点(处理器)上进行计算,并负责将结果收集起来。

  软件所使用的高可扩展性任务分布式计算方案与传统的单线程执行有着本质上的不同,意味着大型服务器就拥有最大与最强的计算能力。可以假设大型的服务器也拥有最多的处理器核心,如Intel的Xeon E7-8800 v2处理器,拥有15个核心,并且支持超线程。数据中心可以通过购买这些服务器来解决大数据计算处理的问题。

  精简指令集处理器是许多大数据服务器的另一种选择,它可以提供大量的处理器核心,而产生的热量比传统的x86处理器少得多。Dell开发了基于Calxeda ARM芯片的Zinc服务器来支持企业应用。

  虽然更多处理器需要额外的内存空间来处理与存储结果,大数据更专注于计算任务,所以服务器的内存总和可能会非常之大,甚至超过大几百G。例如,HP的ConvergedSystem的Vertica Analytics Platform拥有128G内存,IBM的 System x针对Hadoop的参考架构要求服务器具备384G内存。

  大数据服务器同样还可以集成图形处理单元,如NVIDIA公司的Tesla K40,因为GPU被设计为处理复杂的数学计算,如双精度浮点计算可以达到 1.4T flops(一个TFLOPS(teraFLOPS)等于每秒一兆(=1012)次的浮点运算)。大量数学计算可以从多个处理器中卸载到单个GPU上,还无需附加系统内存。

  任何大数据平台在评估时都必须考虑基础设施,如网络和存储。多端口网卡可以帮助服务器之间分配工作量。从千兆以太网升级到万兆以太网,可以在大数据环境下发挥更高利用率。还必须有足够多的交换机端口(千兆或者万兆以太网),以满足所有服务器端口的连接需求。此外,IT架构师还可以考虑将每个服务器的端口分摊到不同的交换机上,构建更强大可用的环境。数据中心可能需要为更新型号的网络交换机,提供更多预算。

  Hadoop与其他大数据应用程序通常通过使用本地存储与独立处理器,而不是共享存储来提升性能。将磁盘任务分配到许多磁盘上独立运行,可以最小化磁盘延时。同样还可以考虑使用固态硬盘替换传统的机械硬盘,甚至还可以使用更快的、基于PCIE接口的固态硬盘加速卡来提升性能。

时间: 2024-07-31 18:15:13

大数据将如何影响数据中心的命运的相关文章

这十大技术会影响数据中心发展

有些技术是炒作,也有些能在很长一段时期影响数据中心.下面十大趋势肯定能影响2015年后的数据中心发展.   数据中心技术不断涌现,并以惊人的速度变化.想想看,虚拟化这样一个初出茅庐的想法在短短几年时间内就成了基础设施的必要功能,或者固态硬盘在高性能存储缓存以及虚拟SAN部署中的占比不断扩大. IT专家们需要关注新的发展,并且考虑这些产品对数据中心以及业务可能造成的影响或促进.在Gartner本周的IT Operations Strategies与Solutions Summit 2015峰会上,

大数据和物联网将如何影响数据中心

如今,大数据正在不断拓展和扩大.据科学日报2013年的报道,全世界范围内所有数据的90%都是在过去两年中产生的.凡尔纳环球公司技术服务总监豪尔赫•巴尔塞尔斯指出,全球各地有25亿个互联网用户,在美国就有大约2.5亿个用户,特别是在过去的十年,用户的数量和水平呈现爆炸式增长. 从我们的Fitbits到手机摄像头,所有连接到互联网的各种类型的设备数量庞大,这些设备所产生的数据和未来的潜力导致计算和存储的需求呈指数增加. 大数据和物联网将如何影响数据中心?这是巴尔塞尔斯在将要召开的数据中心全球会议和博

影响数据中心未来发展的八大应用技术

在实际中,综合布线产品的应用场所目前主要可划分为智能化楼宇和数据中心两大类.其中,楼宇主要分为商业楼宇.民用楼宇和厂房,数据中心可分为企业级数据中心和IDC两类.企业级是指企业通过自建或者与合作伙伴合作建设的供企业自身使用的数据中心,作为企业提供关键业务应用的核心计算环境,对企业数据.应用程序.物理构架的全面或部分进行整合和集中管理.IDC则是为互联网提供商.企业.媒体和各类网站提供大规模.高质量.安全可靠的IT设施外包.空间租用.带宽服务以及应用服务等业务的数据中心服务模式. 数据中心建设规模

2016年这五大趋势将影响数据中心和云计算

未来几年将是现代数据中心和整个云生态系统的决定性时刻.人们开始看到越来越多的市场.产业和行业采用新一代技术.所有这些都将影响人们设计数据中心方式,以及支持我们的不同的应用程序和用户的所有的资源. 现在我们几乎已经达到了每个人都有一个数字足迹的地步.我们可以创建一个数字的标识符与关键的信息,甚至婴儿的心跳信息.我们的数据在云计算之前就存在,甚至出生之时就有了数据和信息.因此,我们必须习惯这一切. 如今,新的市场因素正在推动企业重新思考他们的整个业务战略,并想方设法采用智能调整其IT环境.有了这一切

影响数据中心温湿度的因素剖析

数据中心里有大量的精密电子设备,这些设备都比较娇贵,一般需要提供一个恒温恒湿的工作环境,才能确保这些设备运行稳定.温度过高易导致电子元器件的性能劣化,加速设备老化,降低其使用寿命,温度过低可导致电子元器件的参数发生改变,影响设备稳定性:湿度过高易使材料氧化腐蚀,影响材料使用寿命,湿度过低导致空气干燥,容易产生静电,可以击穿电容.电阻等元器件,引起设备故障,所以要尽量保持数据中心内部恒温恒湿的环境.不过,要保持数据中心内部恒温恒湿也不是一件容易的事情,不是布置几台空调就可以搞定的事.除了局部会产生

专家:大数据将深刻影响教育格局

首届中国教育大数据发展论坛12日至13日在山东省曲阜师范大学举行.中国教育科学研究院院长田慧生等专家表示,大数据及其技术应用将对探索教育规律.改变教育方式.影响教育决策等产生巨大影响,深刻影响教育发展的方方面面. 田慧生说,大数据及其技术应用为认识探索教育规律提供了前所未有的指向.人们对教育现象的分析和教育规律的把握虽然不断深化,但始终受到限制,而大数据将为此提供"利器".而近几百年来,教育的方式虽不断进步,但整体上还是并无太多革命性变化,与其他行业相比,相对"保守"

影响数据中心和云计算的2016年五大趋势

未来几年将是现代数据中心和整个云生态系统的决定性时刻.人们开始看到越来越多的市场.产业和行业采用新一代技术.所有这些都将影响人们设计数据中心方式,以及支持我们的不同的应用程序和用户的所有的资源. 现在我们几乎已经达到了每个人都有一个数字足迹的地步.我们可以创建一个数字的标识符与关键的信息,甚至婴儿的心跳信息.我们的数据在云计算之前就存在,甚至出生之时就有了数据和信息.因此,我们必须习惯这一切. 如今,新的市场因素正在推动企业重新思考他们的整个业务战略,并想方设法采用智能调整其IT环境.有了这一切

吴恩达:大数据正在慢慢影响着人们的生活

1976年出生于伦敦,华裔美国人.1998年获得麻省理工学院硕士学位,2002年获得加州大学伯克利分校博士学位. 吴恩达曾在斯坦福大学计算机科学系任教,被认为是人工智能和机器学习领域最权威的国际学者之一. 吴恩达曾在谷歌成立"谷歌大脑"项目,最著名的成就是让机器仅通过观看无标示的视频学习达到高级别识别能力,能够成功识别出"猫".去年,百度公司宣布,吴恩达成为百度首席科学家,全面负责百度研究院. 语音识别可改变人类 新京报:演讲时你提到机器图像和语音识别将在可穿戴设备

大数据到底怎么影响我们的生活

信息大爆炸的今天,不讨论大数据这个话题似乎就是跟不上时代.从医药到教育,再到其他各个领域,大数据充斥着现代社会的每个角落.而我们最关心的还是大数据最终将以什么样的形式,怎么样影响甚至改变我们的生活.来听听四位专家告诉你大数据到底有多少可能. 丹·瓦格纳 Dan Wagner Civis Analytics 的创始人兼首席执行官 你曾经说过,希望用大数据解决全球最大的问题.你最想解决的问题是什么? 我们主要关注两个领域:教育和健康.在教育领域,我们专注于利用个人层面的数据,帮助客户发现那些申请和注