分析师:“大数据时代”的生存法则

在Talend Connect大会上,一名IT业内分析专家指出,企业若不抓住大数据带 来的机会,将很有可能在同行中遭到淘汰。

Jeff Kelly是Wikibon.org的 首席研究员,也是SiliconANGLE的编辑。他说,诸如Hadoop和MapReduce这样的大 数据技术才刚刚起步;很多人由于技术有限或观念陈旧,仍然将它们拒之门外。 然而,在不久的将来,当软件使用门槛变低大量企业开始采用的时候,这些今天 已经采用了大数据技术的企业将再次占领高地。到那时,他们会具备更丰富的信 息来进行决策,也会比其他企业赚到更多的钱。

作为曾就职于TechTarget 的记者,Kelly说:“我们已经研究大数据两三年了,得到的结论就是,大数据是 目前业内赢取竞争优势最有力的武器。当我们得出这个结论时,我们意识到了它 的轰动性。事实的确如此,我们实在想不出有哪一个行业不会受到大数据的影响 。”

“大数据”这个词今天常在对机器生成的海量结构化与非结构化信息 、社交媒体网站和移动设备的形容中用到。除此之外,它也用来形容可从信息中 提取出有用商业洞察的存储、管理和分析技术。比较熟知的大数据管理技术包括 :Apache Hadoop分布式文件系统、MapReduce、Hive、Pig和Mahout。

数 据指向性的优势

在Talend Connect大会上大谈决策制定流程中业务数据指 向性问题的不止Kelly一人,Tony Fraser也是其中之一。Fraser是Ogilvy & Mather(一家大型公关广告公司)旗下营销公司Neo@Ogilvy的创立人之一,也是 技术合伙人。

Fraser说:“我们做的是数字广告。只要你能想到的领域, 我们都有涉及。”

Fraser在发言中举出实例,说明了数据指向性决策为他 们公司成功带来的帮助。其一是,巴黎酒店和拉斯维加斯赌场与Neo@Ogilvy合作 ,吸引更多的顾客。Neo@Ogilvy首先通过社交媒体和旅游网站针收集顾客对巴黎 酒店的正面评价,发现大多数都与Bellagio酒店喷泉的景色和街道对面的赌场相 关。根据这个信息,公司团队投放了一期电子广告,内容为喷泉旁的巴黎酒店。

Fraser说:“广告一投放出去,酒店的预定人数激增。”

大数据 运用的障碍

Kelly称,大数据管理技术的概念早已传播到大街小巷,但为 什么真正使用它的企业却很少呢?主要有两个原因。

第一,Hadoop与其他 大数据软件的使用极其困难,而正确使用技能的培训尚未出台。目前,企业只有 高薪聘请相关专业的博士才能对大数据方程式进行分析。

Kelly说:“一 个Oracle DBA不一定具备管理、部署与监控Hadoop的技能。比如,一个分析层面 的数据工程师需要编写MapReduce,而这样的工作可与SQL查询的编写完全不同。 ”

第二,目前大部分企业还缺少实施大数据的概念和计划。

现今 的许多大型企业都已习惯于通过数据仓库与BI报表技术来获取业务信息。然而, Kelly认为,BI或数据仓库模型是通过数据分析对过去进行评估,而大数据技术是 通过数据分析对未来进行预测。

他说:“对于这些企业来说,大数据运用 需要一种观念上的转变;你需要信任数据并跟着它指的方向前进。大数据的意义 就在于向前看、做出预测,然后行动。”

大数据管理的普及

Kelly 认为,大数据管理和分析与其他新兴技术无异,最终都会普及,或者说会变得大 众化。但是,这也需要一个过程。

由于大数据技术的复杂度对很多刚刚接 触的企业都是不小的挑战,所以这些新的应用工具和软件技术需要被简化。 Talend、Hortonworks和Cloudera等公司目前都在简化大数据技术的难度。Kelly 说,大数据技术还需要很多革新,以让用户更简单地进行部署和管理、对Hadoop 集群进行防护并在流程与数据源之间创建集成。

“现在你想成为一个顶级 数据程序员,就必须具备编写MapReduce、SAS或其他语言程序的复杂技术。所以 ,我们需要研发出可以剔除部分专业性的工具;这样一来,即使你没有博士学位 ,也可以编写大数据程序了。”

大数据的普及少不了对用户的大量技能培 训,内容包括大数据架构、Hadoop部署管理、数据集成与MapReduce的编程等。

Kelly说:“我们需要全面解决存在问题。一方面简化工具与技术;另一 方面加强人员的培训,使DBA和业务分析师能够胜任‘大数据时代’的工作。”

时间: 2025-01-01 01:53:48

分析师:“大数据时代”的生存法则的相关文章

大数据时代的PMC法则

访谈背景:PMC-Sierra,对于很多读者来讲,它的名字或许并不常见,但是,它的产品在电信行业却享有盛誉.PMC-Sierra的芯片涵盖了光纤到户/无源光网络.有线网络架构.无线网络架构.企业存储等多个领域,由于这些芯片往往隐藏在一款成型的设备中,很多终端用户对PMC-Sierra的名字可能并不太熟悉.但大数据时代的到来,让PMC看到了新的机遇,并有机会近距离地接触更多的终端用户. 人物简介:格莱特·朗(Greg Lang)先生于2008年4月2日被任命为PMC公司总裁兼首席执行官.此外,格莱

大数据时代:《小时代》的生存之道

由青春文学作家郭敬明编剧.导演的电影<小时代>以上映首日45%的排片占比,以及两天过亿.三天过两亿.六天过三亿的票房速度,位居内地电影的前三位.以"90后"为主体.数量庞大的郭敬明粉丝与众多业内人士,构成了泾渭分明的两个阵营.从电影本身到引发的热烈争辩,让<小时代>成为中国电影产业的一个特殊案例. 在全球电影观众趋向"低龄化"的背景下,青年观众无疑会成为未来中国电影的主力观众.这样的受众势必会影响到电影的创作趋向,他们的观影需求值得关注.引导

大数据时代的数据交易规则的法律思考

大数据时代已经到来,之后将是人工智能时代,而且可能在非常近的时间我们都能看到.目前各国纷纷将大数据作为国家战略,我国也积极为大数据做充分准备并付诸实践.大数据离我们很近,它已经介入我们的生活;也离我们很远,更多人不知道大数据为何物.大数据时代的数据交易.数据共享及数据安全等在目前法律上均为空白,如何维护我们现在及未来的权利留待我们作出的法律思考. 一. 大数据国家战略 现在随着全球数字化.网络宽带化.互联网应用于各行各业,一个大规模的产生.分享和应用数据的大数据时代已经到来.大数据将是下一个创新

大数据”时代并不是掌握数据,而是利用数据

大数据可以来自方方面面,从生活中的购物交易,到工业上的生产制造;从社交网络媒体信息,到企业化管理决策大数据作为目前IT行业最重要的前进方向之一,已经吸引了众多IT企业的目光.面对海量的数据.不断变化的外部环境,企业应该首先从寻求管理模式的创新入手,寻求在"大数据"时代中生存的基础. 最近几年,"大数据"成为最热的技术词汇之一.面对"大数据"时代的到来,不单单是构建企业信息化这么简单,更重要的是企业应该寻求管理模式的创新. 早在30年前,美国著名的

大数据时代留给数据分析师的羁绊

大数据搭着信息时代的快车来到了我们的面前,数据的价值逐渐为人们所重视,同时也让数据分析师的身价倍增.而随着大数据分析工具等大数据应用技术的出现,未来的数据分析师又将遇到怎样的挑战和机遇呢? 工具抢了人的饭碗? 很多大数据分析工具的设计起点非常高,定位了数据分析过程中所需要的大部分功能.好的工具应该可以从数据前期整合.收集到挖掘.分析乃至末端的数据可视化的整个数据分析过程. 但如果仅凭这些就认定大数据分析工具能取代数据分析师,未免有些杞人忧天了.恰恰相反,大数据分析工具不是数据分析师的竞争者,而是

大数据时代分析师 Splunk助大数据落地

文章讲的是大数据时代分析师 Splunk助大数据落地,近日,Splunk公司在北京举办了一场"大数据如何落地研讨会",为大数据技术在中国企业的落地带来了诸多的前沿观点.可以参考的实施路径以及丰富的案例. 数据爆炸时代的来临 在当前全球经济形势下行的背景下,中国的经济形势也不甚乐观,但正因为如此,中国企业对挖掘大数据价值的渴求尤为强烈,希望以此提高客户体验,促进业务的增长.根据国内市场研究机构计世资讯的研究,2012年中国大数据市场增长率为52.4%,市场规模达到3.2亿元.55%的受访

数据分析师?架构师?科学家?大数据时代的热门职业

沈阳市大数据局公开招聘110名智慧城市建设信息员,7月7日起至11日报名,引起社会广泛关注,报名网站点击率迅速蹿升. 大数据已是当下信息时代一个非常热的概念,大数据时代到来,将给人才发展带来哪些机会?谁将是未来最热门的人才?大数据时代的热门职业都有哪些?让我们一起来看看吧-- 说起大数据,可能你还会觉得云里雾里,实际上,大数据就发生在你我身边,和小编一起先来点入门级的-- 你的通话记录.上网记录,会留在三大电信运营商那里: 你的身份.家庭房产信息,会通过刷信用卡而被银行知晓: 你去了哪里,现在哪

石勇:大数据是数字化生存时代的新型战略资源

9月9日,在国家发展改革委国际合作中心主办的"国际合作信息.信用系统建设研讨会"上,国务院参事.中国科学院虚拟经济与数据科学研究中心主任.发展中国家科学院院士.国合信用研究院专家委员会委员石勇指出,大数据是数字化生存时代的新型战略资源,是驱动创新的重要因素,正在改变人类的生产和生活方式,为各行各业带来了巨大的变革潜力和创新空间.当前,我国已经大跨步的进入到信息化时代,"十三五"时期是信息化引领全面创新.构筑国家竞争新优势的重要战略机遇,创新.开放.共享是信息时代发展

罗伯特·汉姆:在大数据时代生存

在最热的IT话题中,云和大数据的简化IT趋势和一体化理念,早在1996年美国CommVault(康孚)公司成立之初,就被其CEO 罗伯特·汉姆(N.Robert Hammer)确定为发展方向,并在多年后的今天得到市场和业界认可.现在,CommVault常被华尔街分析师们看作惠普.戴尔等IT巨头在软件业务上的收购目标.不过罗伯特·汉姆否认了收购一说:CommVault目前市值29亿美元,单股股价从最初3美分涨到65美元,汉姆认为已经没有公司"买得起" CommVault了.今年年初,这家