大数据系列之大数据分析对IT资源的需求

文章讲的是大数据系列之大数据分析对IT资源的需求, 为了准确描述中国大数据市场和技术发展趋势,解析大数据发展的各阶段对IT技术的需求,2013年6月,中桥调研咨询(以下简称中桥)对中国480家最终用户的IT管理者和专业人员,就大数据市场和技术发展趋势展开了调查。中桥首席分析师王丛结合其在欧美数据中心领域十几年的市场调研积累,对中国大数据市场趋势的调查数据进行解析,以诠释中国大数据市场和技术趋势。同时,会通过在线讲座(www.webinars-china.com )和中国读者解读中国大数据市场趋势,以及大数据对IT技术、IT架构、IT管理以及IT格局的影响。中桥结合对中国大数据市场的调研数据和分析,将分成四个系列对“中国大数据价值和趋势”进行解读。

  在系列1里,中桥就大数据分析对未来24个月以及企业的大数据分析投入重点进行分析。在系列2 里,中桥将就大数据分析对IT资源的需求,包括IT架构、计算节点以及存储技术等进行分析。

  大数据分析对IT架构的需求

  在大数据时代,随着数据存储量的爆炸性增长以及分层网络架构的出现,IT复杂性达到了前所未有的高度,而大数据分析使得传统IT架构更是不堪重负。那么从企业角度来看,他们的大数据环境需要怎样的IT架构呢?中桥调查结果表明(图1),企业级用户(员工人数在1000人以上)主要选择的是“透明、经济、智能、自动化”的IT架构(29.3%),中小企业(员工人数在1000人以下)则主要选择的是一体机方案(服务器、存储、网络、大数据分析软件)(28.9%)。企业级用户倾向于开放、异构、跨平台的IT架构,因为其用于大数据分析的IT架构发展较为成熟,如何继续提高BI效率是企业级用户选择IT架构的重点。中小企业尚处于IT架构发展初期,因此一体机的方案成为中小企业的首选。受访者的选择结果也体现了中国企业未来对IT架构的需求趋势,说明数据整合和ETL是中国企业的迫切需求,也是目前面临的最大问题之一。

  图1. 大数据环境对IT架构的需求

  大数据分析对计算技术的需求

  再从大数据分析的计算方式来看(图2),21.6%和21.3%的企业级用户分别考虑x86虚拟化和小型机来部署大数据分析方案,中小企业(23.8%)则主要考虑刀片服务器的计算方式。刀片服务器的高密度特点有利于提高计算能力、保持高IT密度。企业级的应用多数运行在小型机的平台上,这造成如果大数据分析是在现有基础上实现,则小型机就成为了企业级的首选;如果要选择在一个全新平台实现大数据分析,那么X86虚拟化就成为了企业级用户的第一选择。结合我们之前所分析的,目前中国市场的大数据分析速度和频率远低于欧美市场,这导致中国企业在数据分析,这个大数据通过IT创造价值,这一重要环节上比较薄弱。


▲图2.大数据分析对计算技术的需求

  大数据分析对存储的需求

  从大数据分析的第一个环节——数据收集和存储来看,大数据时代应用数量、应用数据量和使用者数量的增长,对存储IOPS以及OLTP和OLAP的要求越来越高,具体体现在存储不能满足业务关键型应用的需求。从中桥就企业支持当前数据分析和/或进程活动的存储类型分析来看(图3),FC SAN是企业级用户(42.1%)和中型企业(34.0%)的首选,远高于其他存储类型的企业占比。这是因为FC SAN对OLTP和OLAP的性能稳定性优于其他存储技术。这一调查结果也体现了,目前中国用户大多处于大数据分析的第一阶段,存储和IT架构大多以集中式为主。随着Hadoop和MapReduce的不断普及,用户逐渐进入近实时和实时分析阶段,节点式存储的占比会随之逐渐增加。


▲图3.大数据分析对存储的需求

  那么在大数据时代企业的存储能够满足需求呢(图4)?中桥调研结果显示,31.6%的用户计划在未来12个月部署新存储来满足业务关键型应用的需求,33.2%计划在未来12-24个月部署新存储。这表明传统存储越来越无法满足业务关键应用的性能需求。在未来24个月,64.8%的用户将会部署新存储来满足大数据时代,业务关键型应用对存储性能越来越高的需求。


▲图4 大数据分析时代存储的发展趋势

  通过上述一系列大数据对IT资源的需求分析,中桥分析师认为,传统的IT架构、计算方式以及存储正成为中国用户通过大数据分析处理快速提高IT效率,挖掘数据价值的巨大阻碍。而统一、透明、智能的自动化IT架构管理、高密度下卓越的计算能力,以及能够满足存储IOPS与OLTP和OLAP的新型存储则能够为企业创造价值,实现通过IT突破创新来提升企业竞争力的目的。

  在接下来的系列3中,中桥将就大数据时代下存储所面临的挑战以及其发展趋势进行更为详尽的阐述。

作者:蔡思萌

来源:IT168

原文链接:大数据系列之大数据分析对IT资源的需求

时间: 2024-07-28 20:13:46

大数据系列之大数据分析对IT资源的需求的相关文章

大数据系列之大数据分析如何权衡存储

文章讲的是大数据系列之大数据分析如何权衡存储, 系列1:未来24个月市场趋势和IT投入重点 系列2:大数据分析对IT资源的需求 在之前的系列1和2中,我们已就大数据分析的发展趋势以及对IT资源的需求进行了解析.接下来,针对大数据分析的重要一环-存储,中桥将结合市场热门的存储技术如闪存.固态盘等,来从存储性能.数据保护等角度进行分析. 通过前文的相关数据分析,我们已经了解到,随着大数据时代应用数量.应用数据量和使用者数量的增长,系统对存储IOPS以及OLTP和OLAP的要求越来越高.传统存储也越来

微软发布大数据愿景 推动数据分析平民化

当其他厂商还更多地将注意力放在"如何利用大数据进行产业转型和企业创新"时,微软已经开始展示如何利用正确的技术和工具,让每位普通大众都能从大数据中直观获取洞察. 10月18日,微软全球高级副总裁.大中华区董事长兼首席执行官贺乐斌在"大数据媒体日"上对记者表示,"与其他公司处理大数据的方式不同,微软主张从发现数据.分析数据和对数据进行可视化的处理这三种方式来思考大数据的使用.微软大数据愿景是,希望基于标准化的产品,使所有人都能够在任何时间任何地点利用数据,并更

解读2015之大数据篇:大数据的黄金时代

2015年,整个IT技术领域发生了许多深刻而又复杂的变化,InfoQ策划了"解读2015"年终技术盘点系列文章,希望能够给读者清晰地梳理出技术领域在这一年的发展变化,回顾过去,继续前行. 本文是大数据解读篇,在这篇文章里我们将回顾2015展望2016,看看过去的一年里广受关注的技术有哪些进展,了解下数据科学家这个职业的火热.在关键技术进展部分我们在大数据生态圈众多技术中选取了Hadoop.Spark.Elasticsearch和Apache Kylin四个点,分别请了四位专家:Hulu

将大数据转化为大价值实用战略

当今,一些最成功的公司通过捕捉.分析和利用大量各式各样.快速移动的"大数据"获得了强大的业务优势.本文介绍了三种使用模型,可帮助您实施灵活.高效的大数据基础设施,以获得自身业务的竞争优势.本文还描述了英特尔在芯片.系统和软件领域的多项创新,可帮助您以最佳的性能.成本和能效来部署这些和其他大数据解决方案. 大数据机遇 人们常将大数据比作海啸.当前,全球五十亿手机用户和近十亿的 Facebook* 与 Skype*用户正在生成规模空前的数据,而这些用户只占全球网民人数的一小部分.英特尔估计

2013年展望:大数据发展十大趋势分析

本文讲的是2013年展望:大数据发展十大趋势分析,2012年大数据发展如火如荼,大有赶超云计算之势.如果把今年比作大数据落地生根的一年,那么2013年将迎来其茁壮成长,甚至开花结果的一年.有预测称,大数据市场将以每年40%的速度增长,2012年大数据市场规模约为50亿美元,2013年将翻倍.2013年大数据发展有哪些新趋势呢?不管是IDC.Gartner还是国内大数据研究机构都给出了各自的答案,笔者在这里总结一下各方观点,并谈谈自己的想法. 预测1:开源大数据商业化 随着闭源软件在数据分析领域的

10分钟让你明白大数据 网友观点大拆解

文章讲的是10分钟让你明白大数据 网友观点大拆解,大数据的概念被吵的越来越厉害,这对于一个新技术领域的诞生是一个必经过程.对于"大数据"(Big Data),研究机构Gartner给出的定义是:"大数据"是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 两年前,<纽约时报>撰文"欢迎大数据的到来",两年后,大数据的商业价值已经显现.在各个行业,我们都已能看到大数据的身影.网友关于大数据

中国计算机报郭涛:大数据不是大谎言

近期的美国<福布斯>杂志刊发了一篇题为<大数据是个大谎言>的署名文章,文章作者SAP Sybase全球CTO伊尔凡·汗给那些大数据的拥趸泼了一盆凉水.云计算市场还在持续升温,随之而起http://www.aliyun.com/zixun/aggregation/14294.html">的大数据掀起的热潮相比云计算来讲有过之而无不及. 按照伊尔凡·汗的说法,从数据库到数据仓库再到今天的大数据,数据量的 快速增长是一个趋势,而与之相对应的数据处理的方式也在变化.提高,这

《Hadoop与大数据挖掘》——第一篇 基 础 篇 第1章 浅谈大数据 1.1 大数据概述

第一篇 基 础 篇 第1章 浅谈大数据 当你早上起床,拿起牙刷刷牙,你是否会想到从拿起牙刷到刷完牙的整个过程中有多少细胞参与其中?这些细胞在参与的过程中会结合周围环境(可能是宏观的天气.温度.气压等,可能是微观的分子.空气中的微生物等),由你的意识控制而产生不同的反映.如果我说结合这些所有的信息,可以预测你接下来的0.000 000 01秒的动作,那么,你肯定说,这我也可以预测呀.比如正常情况下,你脚抬起来走路,那么抬起来后,肯定是要落下去的,这算哪门子预测呢?那如果我说可以预测你接下来一个小时

上市公司“掘金”大数据 多领域大数据应用受热捧

<关于促进大数据发展的行动纲要>(简称"<纲要>")有着"大数据国家战略"之称,其下发点燃了上市公司掘金大数据产业的热情.据上证报记者最新统计,至今已有近百家上市公司公告涉足该业务,或借力BAT挖掘数据价值与再造,或在定增项目中将大数据作为核心业务. 究竟什么样的数据才是有价值的数据?嫁接BAT.兼并收购是否是大数据变现的有效手段?去伪存真,哪些领域的大数据应用有望率先爆发?记者从多方调研专业人士,以寻求上市公司掘金大数据背后的价值所在. 掘