如何理解“大数据时代”?

问:编辑同志,您好。继“物联网”、“云计算”之后,“大数据”一词被越来越多地提及。大家都在谈论“大数据”,谁都想用好“大数据”,俨然进入了“大数据时代”。请问如何理解“大数据时代”?

大数据”只是一种提法,其形态本身是数据云。人们用它来描述、定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。让我们看网上的一组数据,就能够对“大数据”有一个生动的认识:平均每1秒钟,会有60张照片上传到网络;每1分钟,会有60小时视频上传到视频网站youtube;每1天里,在脸谱(facebook)有40亿的信息扩散;每个智能手机用户平均会安装65个应用;每一天里,互联网产生的全部内容可以刻满1.68亿张DVD;每一天发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量),发出的社区帖子达200万个(相当于《时代》杂志770年的文字量)。在“大数据”中,存储在数据库中的结构化数据仅占10%,邮件、视频、微博、帖子、页面点击等大量非结构化数据占据了另外90%。

“大数据”有几个明显特征。一是数据量大。“大数据”的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。二是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。三是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是“大数据时代”亟待解决的难题。四是处理速度快,时效性要求高。这是“大数据”区分于传统数据挖掘最显著的特征。

最早提出“大数据时代”到来的是全球知名咨询公司麦肯锡,麦肯锡称:数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。

如今,互联网和大数据已经开始深刻影响公司的传统业务。比如,大家都熟悉的耐克公司,它的数字运动平台Nike+至今已经拥有了超过1000万的注册用户,它所收集到的用户运动数据已经成为耐克在产品设计时的重要参考。Nike+收集到的数据显示,大量的用户是在夜间进行跑步锻炼的。当了解这点之后研发人员开始思考,在光线昏暗的条件下跑步,人们需要什么?毫无疑问,是可见度和安全性。因此,在设计鞋的时候加上了反光材料,在设计衣服时也加上了反光材料。这只是互联网和“大数据”对耐克影响的一个缩影。

毫不夸张地说,互联网上每天产生的庞大数字在一定意义上就意味着财富,意味着政治。美国华尔街根据民众情绪抛售股票;对冲基金依据购物网站的顾客评论,分析企业产品销售状况;银行根据求职网站的岗位数量,推断就业率;投资机构搜集并分析上市企业声明,从中寻找破产的蛛丝马迹;美国疾病控制和预防中心依据网民搜索,分析全球范围内流感等病疫的传播状况;美国总统奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好。

“大数据时代”为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。与此同时,也对人类的数据驾驭能力提出了新的挑战,尤其让互联网公司如临大敌,有些美国公司甚至认为“大数据时代”就如同“外星人”和“世界末日”一样,某种程度上是虚构的。但不管怎样,海量数据已然摆在面前,是机遇必然伴随挑战,关键在于如何应对。

时间: 2024-10-24 01:50:08

如何理解“大数据时代”?的相关文章

《拥抱机器人时代——Servo杂志中文精华合集》——4.8 理解大数据

4.8 理解大数据 当物联网从各种各样的设备中收集到的数据被创造性地使用时,就会变得更加有价值.这就是所谓的大数据的技术问题.这是一个描述大量数据的简单术语--数据集合如此之大,以至于无法用传统的关系型数据库技术来处理了.为了体现物联网真正的价值,需要开发处理海量数据的应用以建立连接和相关性,从而达到智能决策的效果.总的来说就是要把从各处收集的传感器数据连接起来,得到一个非常独到的结论. 处理物联网所收集的大数据实际上会面临3个挑战.首先是数据的获取,其次是数据的存储,最后是数据的分析. 4.8

大数据时代的小数字感

目前,"大数据"概念已经深入人心.很多人都喜欢谈论大数据.而我们利用数据,其中一个很重要的目的在于,用之为决策提供支持.因此,如何有效地呈现出大数据给出的结果,并把数据以"人话"说出来的,并让受众(很可能是你的领导)听得懂,就显得非常重要的! 想做到这一点,就得迎合人性,或者,更具体点说,要迎合人类大脑的喜好. 一部经典电影引出来的数字感 如果你看过巴里•莱文森导演的经典奥斯卡电影<雨人>(Rain Man),或许你不会忘记其中一个非常有意思的桥段:在餐

大数据时代来临

前言:最近读了很多大数据分析的文章,感觉大数据时代来临.哈佛商业评论也开了一个新的栏目叫做"大数据".整理了一下所有收藏并准备记录的大数据分析文章,本文是最适合做第一篇分享的.文章以案例为支持,讲述了大数据分析的4个基本点.文章记录完后,yoyo也根据与英雄联盟数据分析组负责人的聊天,记录一些对大数据分析的思考. http://blogs.hbr.org/cs/2012/10/getting_started_on_a_big_data.html Inspiration: Big dat

院士演讲:大数据时代的位置服务

 摘要: 中国工程院院士李德毅院士为大家带来<大数据时代的位置服务>的主题演讲,李德毅院士同时指出:大数据引发新理念,实践中的研究也许胜过研究中的实践,较多的数据也许胜过较好的算法  以"智慧城市与移动信息化"为主题的"第七届中国电子政务高峰论坛"于2013年6月23日在北京大学英杰交流中心阳光大厅隆重举办.本次论坛由工业和信息化部信息化推进司指导,北京大学信息化与信息管理研究中心主办,中央机构编制委员会办公室电子政务中心.北大CIO班教务办公室协办,C

NoSQL领衔大数据时代的新技术

本文讲的是NoSQL领衔大数据时代的新技术,大数据应用到数据集,其大小超出了常用软件工具所能捕捉.管理和在可承受的时间内处理数据的能力.Big Data的规模在不断变化,单一数据集的规模从几十个TB涨到多个PB. IDC估计到2011年数据约达到1.8ZB. ZB有多大?答案是10亿个TB.目前世界人口有7亿--也就是说,如果给每个人250G硬盘--存储空间仍然是不够用的. 这次的数据洪流有诸多来源: 1. 纽约证券交易所每天产生1TB的新交易数据; 2. Facebook主机存储100亿张照片

大数据时代:机器翻译能否取代人工

在2015年度国家科学技术奖励大会上,由百度与中国科学院自动化所.中国科学院计算技术研究所.浙江大学.哈尔滨工业大学.清华大学等单位共同研发的"基于大数据的互联网机器翻译核心技术及产业化"项目(以下简称"机器翻译项目"),获得了国家科学技术进步奖二等奖. 此项目获国家科技大奖,标志着互联网大数据为我国机器翻译技术插上了腾飞的"翅膀",同时也引发了人们对机器翻译的关注和探讨:在如今的大数据时代,机器翻译能否取代人工?记者就此采访了相关专家. &qu

大数据时代 标志人类思考世界方式转变

在决策越来越多地受到数据支配的世界里,人.直觉或是不顾事实的蛮干还有什么用武之地呢?如果每个人都求助于数据,都利用大数据工具的话,那么不可预测性--例如人类的本能.冒险.意外甚至失误--也许将会成为差异的关键. 如果真是这样的话,那么需要专门为人为因素辟出一席之地--即为直觉.常识.运气留出空间,以确保它们不会被数据和机器生成的答案挤走. 这将对社会进步的观念产生重要影响.大数据使我们可以更快地进行实验,对更多的线索展开探索.这些优势应该会导致更多创新的产生.但在有些时候,发明的火花迸发是数据所

深度解读:大数据时代的意图搜索

意图搜索起源于互联网搜索引擎,是基于互联网上海量的无组织.异构.动态的数据与信息环境下搜索引擎不能准确理解用户的搜索意图而提出的,利用如神经网络算法等机器学习方法实现智能化的自动搜索,从而更加精准.主体的提供个性化的服务. 一.目的意义 大数据时代,任何网络行为所留下的"蛛丝马迹"都以数据的形式隐藏在大数据中,正所谓"存在就有痕迹,联系就有信息",通过应用物联网.大数据.人工智能等技术,构建网络空间中行为事件.思想事件等模型.在实体空间和虚拟空间中全面收集.甄别.过

马云:大数据时代,最重要的是做最好的自己

做个二十名的人其实蛮好的.大数据时代,最重要的是让每个人做最好的自己. 6月29日上午,天津"世界智能大会"现场,马云作了万字演讲,以下是马云演讲整理: 我今天不是为不同而不同,我觉得进入数据时代,一个很重要的事,每个人对每个问题的看法.角度.深度和广度必须是不一样的,只有不一样,你才是你.其实大数据时代,最重要的是让每个人做最好的自己. 我最近一直在讲,我说我念高中,从小到达,没有考试当过第一名,一个很重要的原因,我知道我当不了第一名.第二,当第一名太累.第三,第一名只有一个,一个班