美国福布斯杂志最近发表了一篇Irfan Khan的署名文章,“The Big Lie About Big Data”,Irfan是SAP Sybase公司全球CTO,负责SAP公司全球的数据库战略方向。
题目很吸引人,甚至可以说有些“耸人听闻”,但是读下来,其中有很多观点倒是和我前一段在“通讯行业云计算峰会”上发表的一些言论相似,我认为“大数据”这个词现在非常火,但是某种程度上不过是过去30-40年来对数据管理和数据处理挑战的理解、认识的新一轮说法。当然,每一轮的说法不一样也并不是完全意义上的重复,循环式上升,毕竟每一轮的硬件、软件、网络、业务的关注点都不同,数据量的确是个硬指标,30年前提“数据仓库”概念时的挑战和现在的挑战不可同日而语,10年之后再看现在的“大数据”也许也会一笑而过,到那时,我们似乎才可以明白,这一个轮回的真正意义。
以下是文章的翻译稿,供大家参考:
天又一次塌下来了。这一次是“大数据”让IT部门如临大敌。但是就像“世界末日”和“外星人”一样,“大数据”是虚构的,是一个“大谎言”。
正如街谈巷议的传闻一样,不管你走到哪里,关于“大数据”的讨论无处不在。在Google搜索这个词组,搜索结果超过13亿条。它甚至在维基百科拥有专门的条目。数据泛滥导致很多人得出结论:企业将不堪重负。这并不是说企业内部的信息量不会增长。相反地,企业内部信息量也难逃增长的命运。因为,大数据一直是个难题。
尽管不断有人声称,数据洪流将导致厄运来临,但IT行业却始终能够通过改进计算基础架构,使它们速度更快、容量更大、价格更便宜、体积更小巧,从而让挥之不去的信息“大决战”预言不攻自破。
今天,通过使用列式数据库分析架构,组织机构可以不必过度对“大数据”带来的焦虑,相反,还能够让“大数据”更好为企业运营服务。在列式数据库中,用户可以随时调用和分析大数据集,即使对诸如非结构化数据等各种数据类型的大数据集亦是如此。它们不仅随时可用,而且执行速度更快,还能根据工作要求,更方便地扩展,从而为尽可能多的用户服务,涵盖尽可能多的数据。
这种做法其实就是挖掘组织机构内外部的“大数据”,并提取有价值的部分供企业使用。它的目的是让组织机构更灵活、更具竞争力,提高组织机构的盈利能力。
对于部署一个分析数据仓库而言,最重要的步骤之一就是找到质量合格的数据。从数据净化到采用数据管理总策略--用于确保数据质量的技术已经成熟。获取最优质数据时还要对其进行内部审核。
数据延迟:需考虑组织内部数据延迟的三个方面:数据发生时机、事件延续时间、决策所需时间。
数据关联:与商业用户合作确定数据的前后关系,并就使用中的多个数据集建立相互联系,同时还需要考虑数据增长率以及重复的来源。
自服务:确定高级用户如何在不影响IT或其他资源的情况下,对用于查询的数据实施控制。
首席数据官(Chief Data Officer):指定一名高级职员担任首席数据官的职务,使其能够在维持组织治理的同时保证数据的可操作性。
数据质量的重要性再怎么强调也不为过。以comScore为例,作为一家为电子商务市场提供分析服务和解决方案的云计算公司,该公司从创立伊始就意识到,网络营销的重点正从访客数量转变为盈利性。comScore的“客户知识平台”(Customer Knowledge Platform)针对顾客浏览互联网的行为与偏好提供了全方位的观察视角。该服务追踪所有愿意提供互联网行为以供分析的用户,记录他们在各个网站的冲浪以及购买行为。
(责任编辑:蒙遗善)