让我们重新认识下扑面而来的“大数据”

“大数据”的概念其实并不新鲜

  大数据时代已经到来,但不是每个人都在接受它的洗礼。更准确的说,现如今我们所谓的“大数据”,其实就是硅谷的互联网大佬们若干年前所做的事,之所以现如今被人们所重新认识,觉得它是新鲜有趣的,那是因为现在推动大数据的技术,已经完全开源,并且普及到了大部分的企业和公司。

  在与欧洲很多传统企业的对话中,我们可以越发清楚的察觉到,大数据除了能够让开发应用项目在非硅谷的地方迅速成熟起来之外,无甚新奇之处。之所以提及欧洲,那是因为在IT技术发展上,它落后于美国。无论是云计算或者大数据计算,欧洲都落后美国一到两年的时间。所以当我们看到欧洲的公司都在郑重其事的谈论大数据项目,那么就意味着大数据的概念确实开始深入人心。

“大数据”的概念,所涉及的范畴比我们想象的更为宽广

  Gartner报道称:42%的IT企业领导已经深入到大数据项目的开发中。换句话说,它还有长足发展的空间。但我怀疑这个数字被低估了,这涉及到了如何定义"大数据"这样一个概念。比如,当我问一个IT企业的专家是否会开发一个大数据项目时,一般得到的回答都是"NO"。但当我进一步阐明我的意思,你所要从事的项目并不是那种涉及兆兆字节甚至更大规模的数据量,相反,是一种可以从分散的端口来拉取数据的软件,进而能够进行实时分析的项目产品。当换成这样一个问法的时候,往往她的答案就是“YES"! 这样的项目当然也是在"大数据"的范畴内。但是"大数据"这样的字眼,让人们往往更加关注的是”大“,而非数据,所以人们就走进了误区。

  这个结论在NewVantage的调查中,变得更加清楚明朗,其中只有15%的受访者是在处理超大规模的数据。而从剩下的85%的受访者那里,我们可以看到企业最关心的目标,是要有能力不断的管理日益多样化,并且不断膨胀的数据资源,而非简单的处理超大规模数据。所以,当我们看到连Hadoop公司,这家以存储及加工超大规模数据闻名的公司,更加频繁的介入到ETL过程中,也就不足为奇了。(ETL:即构建数据仓库的重要一环,数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去)

在大数据的概念里,规模真的并不重要

  Google公司和Facebook公司早已经发明出MapReduce以及NoSql这样的数据库,来应付应用软件(这类软件主要由数据来驱动)对实时数据分析处理的需要。现在这样的技术已经开源,随处都可以得到并使用,以至于现在的互联网大佬们已经将目光投向“更大规模数据”的技术开发和利用,而其他人,将在若干年后享受这些技术带来的便利。也许,读写网的布莱恩·普罗斯特对Hadoop网站价值的揭示更加能够说明问题。他说:“Hadoo也仅仅是让本该变得昂贵的数据存储变得便宜而已。”而GigaOm的德里克·哈里斯(Derrick Harris)也对NoSql这么评论道:“它并没有在管理复杂交易上,把其他数据库的角色取而代之。相反,NoSql催生出来一系列的应用软件,能够在处理半结构化数据方面反映更加迅速。”所以在我看来,定义大数据最好的的方式,应该站在你处理数据的角度,而跟所要处理的数据规模没有任何关系。

  最近我遇到了一位欧洲的IT企业老板,他说现在已经把他的工作团队从”瀑布式”的开发方式转换为更为灵巧机敏的开发方式。该团队面向市场上实时的客户反馈,从3000个服务器中读取信息,每天要生成500G的信息量,同时从开发到配置仅仅需要24分钟的时间。该公司毫无疑问,是在向由数据驱动的模式转型。这意味着他们要有能力一扫旧有僵化的数据基础系统,同时在转变过程中会遭遇很多阻力和挫折,但最终我相信能够达到他们的目标。

  不过最值得人们期待的是:是否更多的主流企业都将发展自身的大数据技术,来满足那些互联网巨头不曾有过的一些需求,或者革新将“回流”至硅谷呢!

时间会告诉我们一切

时间: 2024-09-25 05:25:47

让我们重新认识下扑面而来的“大数据”的相关文章

“互联网+”下的金融大数据风口解码

文章讲的是"互联网+"下的金融大数据风口解码, 目前,金融行业数据量巨大,是继互联网及运营商之后大数据产生最为庞大的热点行业之一,其中非结构化数据迅速增长,加上金融行业雄厚的资本背景,金融行业已经成了大数据应用的一片沃土.而放眼全球,金融行业也是大数据的应用重镇,根据此前麦肯锡的<大数据的下一个前沿>系列报告,无论从大数据应用综合价值潜力维度,还是平均数据量而言,金融行业大数据的应用综合价值潜力都非常高. 来源:麦肯锡<大数据的下一个前沿:创新.竞争和生产力>报

MapReduce框架下的实时大数据图像分类

MapReduce框架下的实时大数据图像分类 张晶 冯林 王乐 刘胜蓝 图像数据作为大数据的重要组成部分蕴含着丰富的知识,且图像分类有着广泛的应用,利用传统分类方法已经无法满足实时计算的需求.针对此问题,提出并行在线极端学习机算法.首先利用在线极端学习机理论得到隐层输出权值矩阵;其次根据MapReduce计算框架的特点对该矩阵进行分割,以代替原有大规模矩阵累乘操作,并将分割后的多个矩阵在不同工作节点上并行计算;最后将计算节点上的结果按键值合并,得到最终的分类器.在保证原有计算精度的前提下,将文中

阿里与腾讯的下一仗将打向哪儿?线下伙伴和大数据

中介交易 SEO诊断 淘宝客 云主机 技术大厅 导读:曾经"电商霸主"和"社交寡头"的定位再也无法体现两家公司日趋模糊的竞争边界--下一站,他们将打向哪儿?形容阿里和腾讯竞争的激烈程度,不仅要看现在,还要赌未来,而电商即是现在,线上线下融合的O2O即是未来.不过,作为互联网未来方向,基于大数据的云计算等领域目前尚未引发来自阿里和腾讯的争夺. 游戏.电商.O2O.社交.移动支付--阿里巴巴和腾讯前所未有的产业PK丝毫没有停止的迹象,无论是业务创新还是投资并购,两家巨头

“二马”交锋下一站:线下伙伴和大数据

游戏.电商.O2O.社交.移动支付--阿里巴巴和腾讯前所未 有的产业PK丝毫没有停止的迹象,无论是业务创新还是投资并购,两家巨头互不相让.曾经"电商霸主"和"社交寡头"的定位再也无法 体现两家公司日趋模糊的竞争边界--下一站,他们将打向哪儿? 腾讯打到阿里老家去无风不起浪,腾讯入股京东的传闻越来越言之凿凿,如果说余额宝对战理财通.淘点点阻击大众点评.高德对战腾讯地图--只是阿里和腾讯在非核心业务或者新业务领域的擦枪走火,那么关于京东的传闻,可谓腾讯"打到阿

视频云时代挑战下云计算、大数据技术及其应用

近年来,云计算.云存储.大数据等技术在互联网行业得到了高速发展,技术.产品都得到了较好的市场检验,已被全社会广泛认可.在安防行业,在市场客观需求引领下,主流厂商积极将相关技术引入到行业内,并结合行业特征进行演进,推动云计算.云存储.大数据在行业内的高速发展,同时推出一系列广受市场认可的产品与理念,而云计算.云存储产品也成为各主流厂商主在有关平安城市解决方案中的核心系统之一,这其中所应用的核心技术就成为了衡量所属公司行业地位的关键指标. 视频监控技术趋势一:系统集成下的产品融合 顺应业务发展需求,

七剑下天山,大数据产业落地现雏形

由国家发改委.贵州省政府主办的中国大数据产业峰会暨中国电子商务创新发展峰会(简称"数博会")于2016年5月25日-29日在贵阳举办.活动主要内容包括"同期两会.一展.两赛及系列活动". 作为一个传统上发展比较落后的省份,贵州在2016年第一季度GDP增长上排名全国前三,我们真切的看到贵州举全身之力,高效对接部委﹑企业和学界资源,实现了大数据产业的弯道超车.这次活动,贵州邀请了众多企业参会,并且在期间举办了多次论坛和创客大会,我们既能够从中看到巨头的动向,也可以洞察

大数据技术论坛(下):大数据时代的掘金术

[CSDN现场报道]2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 用友软件高级工程师 白小勇 2014中国大数据技术大会第二日上午的大数据技术论坛,用友软件高级工程师白小勇主持了下午的论坛.前通联数据

大数据背景下我国网络意识形态建设论析

随着智能终端.网络存储.高速宽带.云计算等技术创新应用的普及,人类社会进入大数据(Big Data)时代.以内容的视角看,大数据就是大规模数据或海量数据,具有体量巨大.类型多样.产生速度快.价值含量大等特点,包括不同来源.不同结构.不同媒体形态的各种数据内容,冲破传统的结构化数据范畴,囊括了半结构化和非结构化数据.以技术的视角看,大数据就是运用新技术.新手段对海量数据进行的采集.存储.分析.整合和控制.大数据给人类社会的发展和进步注入了新的动力,也改变了人类的生存和发展环境.在大数据趋势下,互联

【干货分享】大数据金融如何做到线上线下的融合?

本讲座选自百融金服CEO张韶峰于2015年4月8日在青岛大数据高峰论坛金融大数据分论坛上所做的题为<线上线下融合的大数据金融建模>的演讲. 今天汇报的主要内容包括三个部分,第一个是传统风险与营销建模思路,第二个是目前我们在尝试线上线下融合的大数据风险与营销建模思路,以及一些实践效果. 一.传统风险与营销建模思路    先讲第一个,说到金融风险建模就离不开费埃哲,这个模型已经用了60年了,他们采用的变量就是基于这个人过去有什么时候借的钱.借了多少钱.还款有没有逾期.花钱的比例.最重要的变量是过去