大数据:移动互联时代的惊涛骇浪

我们尚无法确定万物是否皆数,但是,在移动互联网时代,人类至少已经推开了这样一扇大门:通过对海量大数据的高效分析获得商业以及社会价值。大数据为移动互联网带来了新的价值,也为迈向物联网奠定了基础。

一个数据分析师以“指挥家”的模样出现在舞台上。随着他手臂的有力挥舞,一串串数据被驯服了。他游刃有余,但数据越来越多,来势越来越凶猛。他有点吃力,他左右摇摆,他手忙脚乱!一阵巨浪打过来,他站立的地方犹如一叶扁舟覆没在数据的海洋……

同样的场景,另一个分析师出现了,还是那挥舞的手臂,还是海量的数据扑面而来,但他驾轻就熟,镇定自如地指挥着,仿佛那不是杂乱无章的数据,而是音乐大师谱写的传世乐章。

2012年7月13日,在亮马河大厦的“大数据世界论坛”上,SAS公司首席咨询顾问张磊博士在演讲前,播放了这么一段激动人心的视频。全场为之雷动。

移动互联网迎来了大数据

“这是像我这样的数据人最为激动人心的时刻,因为数据库、大数据已经成为变革的中心,事实上可以成为一场革命,在IT领域、制造业、零售业、政府管理、科技,大数据改变了整个世界的运行方式。因此,我们称之为大数据的新世界。”

孙博凯仿佛还沉浸在刚才的氛围中。他是微软亚太研发集团首席技术官。孙博凯说,推动大数据变革的有几大因素,比如价格低廉的存储和云计算能力,比如“大家都意识到的移动设备的爆炸,每个人都有一个或者一个以上的移动设备,现在全世界的移动设备用户可能已经达到了55亿。”而且,“这不仅仅关乎到网络用户,还关乎到传感器,我们预计会有100亿的传感器连到网络上,这一切都为我们带来了大数据的新变革。”

也就是说,谱写这数字音符的,不是舒伯特、莫扎特,而是移动互联网时代的每一个网民以及每一台智能手机、电脑、传感器。而大数据也就是由此产生的有别于传统结构化数据的非结构化数据,或者说,传统技术无法分析出有价值的结果的数据。它占到了全部数据总量的85%。

对于大数据的来源,英特尔行业合作与解决方案部中国区总监凌琦换了一种更为简洁的说法,除了社交网络及传统的商业领域“人跟人交易、人跟人沟通”所产生的数据之外,“还有一类是机器和机器、现有智能设备网络中产生的数据,这个数量会更大,而互联网走向物联网这条路是必然趋势,随着时间的增长,大家会看到物联网产生的数据会更多”。

凌琦说,全球的数据使用量到2020年会增长44倍,达到35.2ZB的主要增长来源,就是大数据。

与传统数据相比,大数据具有以下四个典型特征,即多样性(variety)、体量(volume)、速度(velocity)以及价值(value),也就是说,它集结构复杂、体量庞大和快速处理于一身,并最终产生巨大的商业和社会价值。

就像ForresterResearch资深分析师曹宇钦说的那样,大数据并非全新技术,“大数据最主要是帮助企业对现有的数据、已经产生的数据做一些整合,相应地做少量的投入而得到更大的回报”。我们甚至还可以说,传统互联网也产生了很多大数据,但是,移动互联网的蓬勃发展、云计算以及物联网的初步应用,有力地推进了大数据时代的来临,这是毋庸置疑的。

大数据分析的难点

设想你在京东商城或者亚马逊订了一件商品,那么机器就会将你的ID号码、送货地址、手机、电话、电子邮件以及收货时间等等全部记录下来。如果你提交了物品评论,或者和好友在微博上进行了分享,同样,也会被记录下来。

洞察这一切,就意味着梦寐以求的商机。

故而,孙博凯断言:“两家公司,有一家公司利用大数据技术而另一家却没有采用,那么,未来它们的财务状况会出现明显的不同,大数据已经成为了保持企业竞争优势的竞争力。”

他说,在微软看来,大数据意味着管理大数据端到端的生命周期,“管理数据,如何获取、存储、保护安全数据;下一步,如何保护你的数据,如何清洁、发现相关的数据,如何将其他的数据与其连接起来;最后,如何在数据中获得洞察力。”

但问题是,对大数据的分析却并非易事。

凌琦认为,传统的存储结构需要升级为扩展性的存储架构,否则无法适应现有的大数据存储,同时,对于分布式的文件系统的支撑之后,需要进行实时的流处理,而“传统的数据分析更多的是结构化,数据量是有限的,集中式处理、批量处理,也无法满足需要。”

赛仕软件研究开发(北京)有限公司总经理刘政说,在大数据时代,数据分析的手段是关键,“但是传统的数据分析能力,无法处理这么大量的数据。我们平常分析上千万的数据量的时候,都会花费几十个小时的时间才能得到结果。当你的数据量达到十亿的时候,软件就根本运行不下去,有的时候会花上好几十天,这个速度人们是无法接受的。”

他列举了一些传统的分析技术带来的困惑。比如,由于分析手段的限制,取样时的样本数不够大,不能充分利用所有的数据,无形中破坏了信息的完整性;又比如,受限于分析能力而无法获取复杂问题的答案,受限于时间而不得不采用某项简单的建模技术,同样,也是由于没有足够的时间来执行多次迭代,你不得不对模型净度进行妥协等等。

刘政说,上世纪50年代,美国飞行员发现,在跟敌人作战的时候通过OODA方法就可以有效地赢得战争,也就是说,“如果你的决策比你的对手快,你就能够占得先机”。

速度在这里被提到了战略高度。对大数据的分析,也同样如此。

品友互动是中国最大的数字广告互联网技术公司,率先在广告技术领域采用大数据研究方法,搭建了多个以Hadoop为基础的云计算平台。品有互动CEO黄晓南在接受《网络导报》记者专访时说,作为国内最大的需求方平台(DSP),品友互动每天处理上百亿的数据量,其DSP平台可以对接广告交易平台(AdExchange)进行实时竞价和智能算法,50毫秒内完成响应。

可见,没有速度,再有价值的大数据也只能是一堆无法流通的钞票。

(责任编辑:刘芬)

时间: 2024-09-21 00:49:14

大数据:移动互联时代的惊涛骇浪的相关文章

企业管理软件大数据移动互联时代已经到来

域名城(domain.cn)1月30日消息,瀚纳仕公司最新发布的调查显示,中国企业对"商业智能"及"大数据能力的提高"有越来越多的需求.然而另一项由广州华大鑫盛网络科技有限公司针对2753家企业的调研显示,尽管中国的ERP发展时间不短,但20多年来实施应用成功率只有10%左右,本来应该为企业决策提供数据支撑的信息化管理系统,用着用着最后都变成OA办公系统,或者成了进销存系统. "从调研发现的问题来看,排第一的是管理漏洞.往往老板才是企业中的聋子和瞎子.&q

51信用卡孙海涛:信用卡账单背后的大数据 | 万物互联创新大会

11月13日,以"大数据与智能时代"为主题的第二届万物互联创新大会在杭州召开.当日下午,连续创业者."51信用卡管家"的创始人兼CEO孙海涛为大会带来了题为<信用卡账单背后的大数据>的主题分享. 孙海涛表示,当前大数据.人工智能和深度学习等词被炒的很热,除了移动互联网领域,几乎各行各业都在往这个方向靠.但作为一个做企业的人,越是这样就越应该保持冷静. 与大部分人一味追着数据本身做文章不同,孙海涛认为应该让数据成为业务的反作用力.他说:"对于大数

大数据和云计算时代的机遇

本文讲的是大数据和云计算时代的机遇,随着云时代的来临,大数据(Big data)也吸引了越来越多的关注.著云台的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱.大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十.数百或甚至数千的电脑分配工作. 马云卸任演讲说道:"这是一个变化的世界,我们谁都没想到我们今天可以聚在这里,可以继续畅想未来,我跟大

“造价通”服务建设行业转型 迈进大数据应用新时代

中国是一个"大步前进"的国家,在城市内的每个角落,无论楼宇的建筑工还是室内装潢的泥瓦工,你都能找到建设人的身影.作为我国国民经济的支柱产业,建筑行业的转型升级已经是不容回避的问题,信息化是企业提升竞争力.增进效益的助推器,是实现建筑业工业化和现代化的必由之路. 但建筑行业并非像互联网行业那样有着转型的"先天条件",由于几百年沿袭下来的历史习惯,信息化建设意味着重构产业链条,再加上劳动密集型的特征,建筑行业的转型之路似乎从一开始就预示着蜿蜒曲折,不太好走.中建普联造价

中国大数据电视新闻时代的到来

从大数据新闻的可视化来看,以央视2014年的"据说两会"为例,这次创造了一个全新的可视化Logo-"数据哥"(SIR DATA),这是CCTV电视新闻史上第一次出现基于大数据而生成的可视化人形图像. 中国大数据电视新闻时代的到来 --<据说春运(节)> <据说两会>开创中国大数据电视新闻之路 陈超 央视新闻中心 大数据新闻组 在全球进入"大数据时代"的背景下,中国电视应运而生了一个未来新闻业的重要方向--"大数据

【干货】史蕾:大数据征信时代的个人信息保护

嘉宾介绍: 史蕾:1998年毕业于复旦大学国际经济法专业,现柏杨云天(北京)企业咨询有限公司,合伙人.曾就职于纳斯达克B2B上市公司环球资源(NDSDAQ:GSOL)和奇虎360法务部. 密切关注大数据企业和大数据产品的创新性业务实践,为多家大数据公司产品合规分析.用户协议拟定.个人数据保护和隐私政策的制定.股权激励项目提供专项咨询意见. 讲座全文: 各位嘉宾下午好,首先感谢韩院长和清华大数据研究中心给我提供这次机会,也感谢微路演梁总的推荐.今天下午我带来的题目是<大数据征信时代的个人信息保护>

彭怀湘:金融与大数据相约互联网+时代

本文讲的是彭怀湘:金融与大数据相约互联网+时代,作为一名IT业的"老兵",亚信数据公司银行行业线总经理彭怀湘在多年的IT从业中生涯明显得感觉到数据驱动商业的魔力,特别是在互联网+时代下,彭怀湘认为,如今的金融行业与大数据技术已经"相约",正在实现金融业务的创新. 互联网+加速金融普惠 众所周知,2015年最火的莫过于互联网+无论是传统的行业企业还是先进的互联网企业.政府等都在关注互联网+的发展."实际上,互联网+的提出是对于实体经济的诉求." 彭

倪建中:大数据是微时代的伟大生产力

10月24日消息,今天,"中国TMT国际商会月度英雄汇"在北京召开.中国移动(微博)通信联合会副会长倪建中在会上表示,现在的社会处于微时代,而大数据则成为微时代的伟大生产力. 倪建中认为,数字世界呈现出http://www.aliyun.com/zixun/aggregation/14294.html">的大数据新业态正是因为"微"的长期积累而呈其大,这也是矛盾的对立统一彻头彻尾的表现,进而这个大数据成为微时代的伟大生产力. 倪建中表示,移动互联网.

IBM PureData“大数据专家”添时代价值

本文讲的是IBM PureData"大数据专家"添时代价值,2012年12月4日消息,IBM今日在京召开主题为"凝聚专家力,智赢大数据"的2012 IBM PureData发布盛典,正式在中国市场发布针对大数据处理的专家集成系统--PureData.作为IBM PureSystems家族最新成员,PureData继承并发扬了IBM 在业界领先的专家优势和全面大数据能力,旨在利用全新的专家集成技术帮助各行业企业高效应对和驾驭激增的海量数据,获取关键洞察,从而实现企业市

图说港城:2013大数据蓝海时代高层峰会秦召开

峰会现场.王继军 摄 长城网秦皇岛5月22日电(李兴双 王继军)今日,秦皇岛经济http://www.aliyun.com/zixun/aggregation/7332.html">技术开发区与中国IDC产业联盟网共同承办的"2013大数据蓝海时代高层峰会"在该区数谷大厦召开.来自中科院.北京大学等知名院校和企业的相关人士共聚一堂,共同探讨数据产业发展,共同打造中国"数谷". (责任编辑:蒙遗善)