如何避免失败,像Google一样玩转大数据

随着生活的丰富,产生数据的设备也是愈来愈多,同样需要处理的数据体积也是日益激增,各个机构也纷纷把眼光投向“大数据”这个术语。在这场数据的淘金中许多公司满载而归,然而“大数据”投资失败的公司也不可谓不多,所以就有了之前的一篇文章“ Why ">Big Data Projects Fail”。对此,商业智能工具研发总监、esProc、esC++alc高级顾问Jim King否认了这个看法,并以Google为例给大数据投资者提出了一些警示。

以下为译文:

首先看一下大数据成功典范Google,看看他们是如何玩转大数据的:

1.  收集数据,捕捉每个网站、电子邮件、Cookie内容,并提取关键信息。

2.  为信息创建复合索引。不用说,广告相关索引是必不可少的。

3.  将目录和内容储存在分布式服务器中。

4.  当用户浏览网站以及搜索或访问电子邮件时,Google会对这些请求做复杂的转换处理,同时几个索引项会随之确定。

5.  根据索引在服务器中查询数据,返回搜索结果或者广告。

在这里不难发现,与Hadoop有关的只有3和5,也就是数据储存和查询。而这两项也是最容易实现的两项,比如Hadoop就是个具有良好扩展性及低成本的解决方案。

那么实现3和5就可以像Google一样发玩转大数据了?很显然不行,因为关键选项2和4并没有实现,而2和4就是所谓的业务分析算法。这些算法由业务专家根据数据、业务知识、市场趋势精心打造,是许多企业商业策略制定的重要手段及核心。这才是4V理论中的“Value”。

这也是现下许多大数据投资失败的原因,因为当下的大数据只提供了数据存储和查询的策略,缺乏了提高企业竞争力的业务分析解决方案,而恰恰这才是最重要的。事实上,现在的大数据工具都是为IT专家打造的,他们可以通过C++或者Java实现MapReduce功能,但是却无法提供有价值的商业算法。

因此大数据成功的关键不在于Hadoop是否部署成功,而在于对业务有帮助算法的制定,而在人才严重缺乏的当下,不妨从数据工具入手。降低工具使用的门槛,让业务专家可以参与其中,才能发挥大数据真正的作用,对业务起到立竿见影的改善。

总结

工具的部署谁都可以,关键在于业务算法的制定,让业务专家无缝的参与数据的分析才是成功之始。

时间: 2024-10-25 02:44:23

如何避免失败,像Google一样玩转大数据的相关文章

经验之谈:如何像Google一样玩转大数据

文章讲的是经验之谈:如何像Google一样玩转大数据,像Google一样玩转大数据到底难不难?企业能从Google身上借鉴哪些经验?本文就将进行深入的讨论. 简单来说,Google处理大数据的方式可以总结为以下几点: 1.收集原始数据,捕捉每一个网站的内容,电子邮件或者Cookie,然后抽取出关键的信息 2.为这些信息创建复杂的关联索引以及与广告相关的索引 3.将索引和相应的内容存储在分布式的服务器上 4.当用户浏览网页进行搜索,或者查看电子邮件时,Google就会将用户的请求放到一个复杂的"翻

玩转大数据:需要知晓的12种工具

本文讲的是玩转大数据:需要知晓的12种工具,无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具.这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具. 在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为程序员带来先进的数据分析能力.有时候,程序员们会使用简单的脚本开发出强大的显示效果,或者在开发过程中使用一种更简易的方式来实现数据的交付功能,Derrick相信这是

【大数据新手上路】“零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据

免费开通大数据服务:https://www.aliyun.com/product/odps 老板每天都要出这些业务数据(销售总额.总交易量.总点击次数.总加入购物车次数.总加入收藏夹次数...),我得想个一劳永逸的方法了- 幸好,我有数加神器大数据开发套件Data IDE,搞定业务工作流调度,每日定时自动执行任务,分分钟输出计算结果. 妈妈再也不用担心我焦头奋战了-- 本教程是一个大数据开发套件Data IDE零基础教程,通过Data IDE将多源异构的数据集导入云端MaxCompute,进行计

Facebook教你如何玩转大数据

不论"大数据"概念是不是个陷阱,我们的时代,互联网巨头坐拥海量信息是无人可以否认的事实,社区产品和社交产品赖以生存的基础就是从用户那儿来的数据. 他们都是怎样八仙过海.各显神通让你感受到大数据的?比如,去年年终的时候,你肯定看到众多好友在微信朋友圈儿分享了一张"订制"的图片,在微信产品成长历程的时间轴中标注你加入的时点:你可能在登录豆瓣电台后,才发现通过一个特别的回忆通道,豆瓣已经帮你记录了一年来的音乐足迹,从哪天注册哪天听第一首歌哪天听的很悲伤--无一遗漏:如果你

规划为道 同方数据资源体系玩转大数据

文章讲的是规划为道 同方数据资源体系玩转大数据,大数据的应用前景之大已经毋庸置疑.据Gartner发布的<大数据驱动基础架构>报告显示,2013年大数据带动的IT支出有望达到340亿美元;到2016年,全球在大数据方面的总支出将达到2320亿美元.Gartner还强调,大数据工具在2014年将被视为一种必要投资. 当前,越来越多企业将大数据的分析结果作为其判断未来发展的依据.同时,传统的商业预测逻辑正日益被新的大数据预测所取代.不过,海量数据只有在得到有效治理的前提下才能进一步发展其业务价值.

SQL Server:大企业如何玩转大数据?

文章讲的是SQL Server:大企业如何玩转大数据,"得大数据者得天下." 推崇大数据时代的变革者们对此坚信不疑. 在大数据时代,谁能有效地管理和控制数据,谁就有可能成为世界霸主.中国石油化工集团公司信息系统管理部副主任齐学忠也认同这个观点.不过,有效的管理和控制数据并非一件容易的事情,齐学忠就经常为中石化的合同管理而头疼. 营业收入超4000亿美元,全球排名领先的巨型企业--中国石化,其合同管理就是不折不扣的"大数据".中国石化集团拥有众多分子公司,总部和所有下

正确的理解,是玩转大数据的前提

眼下,无论是高校还是科研机构,以"大数据"为关键词的研讨会一拨接着一拨,云计算.物联网.智能终端--这些新概念串烧着出现,仿佛"大数据"正撬动着一个非"技术宅"免进的新世界. 到底什么是大数据的真面目?英国帝国理工学院终身教授.帝国理工数据科学研究所所长郭毅可给出的却是一个举重若轻的解释."大数据首先不是概念,而是一种现象.一种新发现的资源.就如同人类发现了新的石油一样--对大数据的发掘意味着可以创造财富,也正因此,大数据会引发一系列的

抗衡互联网冲击,购物中心要玩转大数据

大数据.云计算.互联网--这些虚拟空间的名词正在跟实体产业融合,互联网与传统行业之间的界限越来越模糊,飞凡.喵街.大众点评加上不计其数的O2O产品让实体商业变得越来越好玩,人们在虚虚实实之间享受着"互联网+"带来的方便.经济和愉悦感. 与此同时,还有一大批实体商业正在忙碌地编织着适合自己的互联网.大型的购物中心开始铺设免费Wi-Fi.导入Beacon微定位技术.建设在线商城.开展朋友圈营销--不亦乐乎地为迈进"互联网+"新时代准备着. 智慧商业,过去只存在于人们唠嗑

风险管理更精准 银行也要玩转大数据

全球知名咨询公司麦肯锡在其发布的大数据报告中称:"数据,已经渗透到当今每一个行业和业务智能领域,成为重要的生产因素.人们对于海量数据的挖掘和运用,预示着新一波生产增长率和消费者盈余浪潮的到来." 大数据与各行各业的结合已经越来越紧密,拥有得天独厚大数据优势的银行也不例外.网上银行.手机银行.财富管理.信用卡平台等系统内的客户交易数据,核心系统.信贷系统.客户关系维护系统.计价系统等客户的基础信息,产生了大量的数据.这些数据可以帮助银行进行业务总结和洞察.细分客户.预见客户流失.提出增值