评论:大数据并非空谈 更大的挑战在业务层面

大数据无疑使很热的话题,但其一度被质疑为是炒作,对此IThome评论称大数据绝非空谈,但挑战不完全是技术层面的话题,更大的挑战是在业务层面,甚至是管理面的问题。如下是全文:

大数据,大概是爆红速度仅次于云计算的科技新名词,过去一年来,云计算虽然还是很热门的话题,但更热门的是大数据,情况就像几年前厂商不约而同在谈云计算一样。

当初整个业界大谈云计算,从上到下几乎所有公司都能沾得上边,不免令人质疑是在炒作,但事实证明云计算至今不只没有成为泡沫,还有许多更进一步的成果。然而,遇到现今整个IT业界都在追逐大数据话题,在相同的情境下还是不免要质疑:这是不是也在炒作?

其中最直接的质疑是:大数据所指">的大数据分析,已经不是什么新鲜事了,大量数据的处理与分析应用早就存在,许多企业采用数据仓储就是为了解决大量数据处理与分析的难题。这种情况就如同当初云计算被扩大解释为网页电子信箱,搞得大家一头雾水,不免觉得“原来云计算早就存在,不过是旧瓶装新酒罢了”,但从云计算现在的发展状况来看,这当然是个误解。

大数据(Big Data)的误解,其实从中文翻译就已经造成了。大数据真是一个不好翻译的名词,很难从中文找到一个适切的译名,任何一种翻译方法,都只能表达部分意思,因此势必就会造成另外一部分的误解。

大数据有3种特性:Volume、Velocity、Variety,Volume指的是数据量庞大,而到底数据量要多大才算呢?这其实没有一定的界限,不过有许多企业已经面临单日数据量以数十、数百TB的速度增加,而总数据量也达到了PB(Petabyte)等级,这样的数据量已让传统的数据库难以处理;Velocity是指数据增加的速度越来越快,诸如移动化、社交网络的风行,使得数据增加的速度比传统的企业应用程式来得快很多,一旦数据增生速度越快,数据处理、分析的速度也就得跟上;而Variety则是指数据的多样性,我们现在上网不是只看看资讯,同时我们不断在产出数据:上传照片、上传视频、发微博,另一方面,IT深入生活中的各个层面,各式各样的监控器、感应器也不停地产出机器资讯,数据的型式已不像过去那么单纯了。

这3个数据特性,已经是现在式,而不是未来式。然而该如何解决日渐紧迫的大数据处理问题呢?像Facebook、Twitter这样面临数据量大爆炸的网路公司,开始用Hadoop、NoSQL等新兴技术来解决问题。

Hadoop是分散式处理技术,它立基于分布式架构,因此可以使用大量便宜的服务器,打造巨大的处理能力,并且可由水平扩充方式来加大处理能力,以应付更大的数据处理需求。

有了Hadoop这样的开放原始码技术,让许多人不需购买大型的数据分析设备,也有办法来分析大量的数据,例如日本药厂透过分析Twitter使用者的留言,分析感冒、流鼻水等症状的字眼,就能了解流行病的趋势,掌握市场脉动;而在过去,如果你没有可行的大数据分析工具,可能连想都不敢想要分析Twitter这么一回事。

至于传统数据分析厂商,也纷纷将数据分析平台转换为分散式处理架构,提供水平扩充能力,或是增加处理速度更快的数据库技术,来应付大数据的3种特性。这样的发展也有助于企业因应未来的数据处理挑战,对于已经采用数据仓储的用户,例如银行业,就能顺利移转。毕竟,Hadoop仍是一个很新的技术,其中的技术门槛亦较高。

所以,大数据不会是一个空谈的话题,在技术上已经有诸多变革在发生了。不过,大数据的挑战不完全是技术层面的话题,更大的挑战是在业务层面,甚至是管理面的问题。

(责任编辑:吕光)

时间: 2024-11-17 15:29:59

评论:大数据并非空谈 更大的挑战在业务层面的相关文章

大数据就意味着更大的安全风险吗?

现如今,围绕着大数据分析所涉及到的相关隐私问题存在着许多的担忧:企业和各国的政府机构是否有权获得如此广泛的个人和群体信息?同时,对于他们收集和处理这些数据信息是否有相关的法律或政策对其进行指导和约束?这其中一个相当关键但却并不经常被人们讨论和关注的问题是安全性. 企业和政府机构所收集.存储.分析和分发大量数据信息是否正面临着安全风险方面的挑战?如果是的话,他们应该怎么做来减轻这些挑战呢? 大数据不仅仅只是大量的数据 从某种意义上说,当一家企业开始收集和存储大量的数据信息时,其就已然成为了一个相当

大数据如何支撑更好的商业模式来驱动精细化运营?

互联网思维UFO模型中的U代表User experience,即极致用户体验,其对应的方向是产品设计;F代表Freemium,即免费商业模式,其对应的方向是商业模式研究和设计;O代表精细化运营,其对应的方向是产品运营,而大数据在这三个方向的应用起到不同程度的作用.其中,大数据与F(免费商业模式)及U(极致用户体验)关联度或者驱动度中等,与O(精细化运营)关联度或驱动度最高. 大数据如何支撑更好的商业模式? 好的免费商业模式要求: (1)通过免费或者"利润超薄"的产品或服务发展大规模的用

滴滴出行高级产品总监:大数据让平台更高效

近期,滴滴出行战略副总裁朱景士透露,滴滴出行的新一轮融资即将完成,在投资市场环境平淡的情况下,仍然获得了国内外众多投资机构及新老股东的支持,公司最新估值远超此前各种渠道的传言. "滴滴现在比任何时候都更接近盈利,目前四百个城市中已有近三百个盈利".朱景士透露.在融资的同时,滴滴出行打入Uber美国老家进行布局的大胆却又水到渠成的行为,不少业内人士表示看好. 随着出行市场的逐步扩大,无论是从技术.还是营销,整个行业都有了质的飞跃.滴滴出行高级产品总监罗文在接受<中国经营报>记

大数据时代带来更理性、更可靠的决策

英国牛津大学网络学院互联网研究所教授.<大数据时代>作者维克托·迈尔-舍恩伯格: 大数据时代带来更理性.更可靠的决策 ◆究竟是什么魔力,让"大数据"这一概念得到全球各国的普遍关注?到底什么是"大数据"?它能够在多大程度上改变我们的生活?在我们寻求对这些重要问题的解答时,牛津大学网络学院互联网研究所教授维克托·迈尔-舍恩伯格出现在我们的视野中:希望我们对他的采访,可以帮助读者们找到这些疑问的答案. 最近一段时间,"大数据"的热潮席卷全球

浅谈大数据:如何成为大数据企业?

文章讲的是浅谈大数据:如何成为大数据企业,1.什么叫大数据? "大数据"是"数据化"趋势下的必然产物!数据化最核心的理念是:"一切都被记录,一切都被数字化".最近2年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和,更重要的是,数据来源极大丰富,形成了多源异构的数据形态,其中非结构化数据所占比重逐年增大.牛津大学互联网研究所Mayer-Schonberger教授指出,"大数据"所代表的是当今社会所独有的一种新型的

管理大数据存储的十大技巧

在1990年,每一台应用服务器都倾向拥有直连式系统(DAS).SAN的构建则是为了更大的规模和更高的效率提供共享的池存储.Hadoop已经逆转了这一趋势回归DAS.每一个Hadoop集群都拥有自身的--虽然是横向扩展型--直连式存储,这有助于Hadoop管理数据本地化,但也放弃了共享存储的规模和效率.如果你拥有多个实例或Hadoop发行版,那么你就将得到多个横向扩展的存储集群. 而我们所遇到的最大挑战是平衡数据本地化与规模效率,这是一个鱼与熊掌兼得的话题. 数据本地化是为了确保大数据集存储在计算

运营商坐拥大数据“金矿” 体量太大难挖掘

大数据将成运营商"去管道化"利器,近期围绕这一话题,国内运营商人士讨论热烈.由受OTT的冲击,到"去电信化"等思索,再到大数据这一运营商手中天然的金矿成为理论中的突破口,这一逻辑顺理成章. 大数据并非运营商独家的概念,它已成为整个互联网行业共同关注的领域.那么运营商手中的金矿,含金量究竟几分,金矿如何挖?敢不敢挖?能否比其他人挖得更好?这是全球运营商共有的话题. ■日本 隐私问题让NTT Docomo头疼 陶旭骏告诉记者,日本最大的移动通信运营商NTT Docomo

媒体都在鬼扯“大数据”,如何发掘大数据的潜力?

下面向大家介绍一个数字,可能大家不常见到:百万的5次方或一万兆,即1,000,000,000,000,000,000(1后边18个0).IBM曾经估算过一万兆这个概念,即人类每天所产生的新的数据量为2.5万兆.做个对比,地球五大洋里的海水总量为352万兆加仑,如果一字节的数据量相当于一桶水的话,只需要5个月左右所产生的"水"就可以填满整个五大洋. 对于企业来说,面对并管理这些浩如烟海的数据时真的感觉无能为力.Oracle去年6月份发出报告称,300家美国和加拿大企业中93%的承认因为没

盘点管理大数据存储的十大技巧

在1990年,每一台应用服务器都倾向拥有直连式系统(DAS).SAN的构建则是为了更大的规模和更高的效率提供共享的池存储.Hadoop已经逆转了这一趋势回归DAS.每一个Hadoop集群都拥有自身的--虽然是横向扩展型--直连式存储,这有助于Hadoop管理数据本地化,但也放弃了共享存储的规模和效率.如果你拥有多个实例或Hadoop发行版,那么你就将得到多个横向扩展的存储集群. 而我们所遇到的最大挑战是平衡数据本地化与规模效率,这是一个鱼与熊掌兼得的话题. 数据本地化是为了确保大数据集存储在计算