《时代周刊》:用形象化的老办法对付大数据

威廉-普莱费尔(William Playfair)生于1759年在家里排行老四父亲是上进的苏格兰大臣。他年纪轻轻便当上瓦特的个人助理随后从事制图、会计、工程、经济、银匠、土地投机、记者等多种职业取得大小不等的成功。最终他在贫困中去世。

不过在此过程中他差不多是不声不响地一手创立了统计图表学发明了柱状图、线形图和扇形图。1786年他出版《商业和政治地图集》该书以一副英国历史进出口图开场放在今天的话与本刊的排版看上去并不太脱节。用他自己的话说“普莱费尔是将几何原理用于财政事务之第一人”。

他生不逢时。如果他活在当今时代普莱费尔很可能身居硅谷一家受热捧创业公司的首席数据官高位。我们周围的世界发生着看不见但影响巨大的转变即从信息稀缺到信息过剩的无声颠覆。人类进化首先面临的是食物短缺如今我们却遭受着普遍肥胖之苦。

与之大同小异的是过去我们获得信息很困难现在到处都是海量的信息。谷歌前CEO斯密特曾经估计人类每两天所创造的数据量就相当于有史以来到2003年的数据量总和。他说这话是在五年前。我们从认识上还未进化到这一步。

估计人类创造的总数据量是技术人员的一大爱好。确切数字虽然各不相同但谁都承认大得惊人。只需想想你的智能手机就够了没错它是一个通讯设备但它也是把你周围的世界转化为数据的工具。你看到某个东西把它拍下来或者录下来然后上传到云端以字节的方式永远存在。每一天人们发布五亿条推文在Instagram分享7000万张照片在Facebook观看40亿条视频。每一分钟我们向YouTube上传300小时的新内容。

创造数据的不仅是人。还有被称为物联网的新现象。汽车、自动售货机、眼镜、计步器等装上传感器和传输器与云端或彼此之间通讯。这些物体也像人类一样在数字世界留下痕迹。市场研究机构IDC在2014年的报告中估计数字世界的规模将从2013年的10万亿吉字节增长到2020年的44万亿或44泽字节。

我们拥有丰富的数据但从中获得的回报却迅速减少因为拥有的数据越多就越难从中挖掘出意义。颇具讽刺意味的是信息过多差不多也像信息不足一样难以分析和理解。于是新技术让我们的世界充斥着越来越多的复杂信息我们最终就越需要有着悠久历史的人类努力即始终致力于使复杂的东西可以理解、从混乱中求得意义的艺术尤其是视觉艺术。

正如普莱费尔所发现的那样超过某一界限挖掘数据意义的最佳办法就是使数据形象化。试想Instagram的海量照片。去年纽约市立大学教授曼努维奇(Lev Manovich)对来自纽约、圣保罗、柏林、曼谷、莫斯科5座城市的12万张照片进行了视觉分析。他和他的研究团队从中选取自拍照片估计照片上的人的年龄和性别。然后他们对照片运用面部分析算法对所有数据进行统计分析最后放到selfiecity.net制成互动图表。

结果这些毫无意义的原始数据现在具有了意义。你可以按照城市、性别、心情、是否歪脑袋、是否戴眼镜、睁开还是闭上眼睛浏览照片。你可以提出问题并得到答案谁自拍用的多男人还是女人(答案是女人)。哪里的人笑得最多(曼谷)哪里的老年人爱自拍(纽约)……

如果你把数据形象化看作我们抵抗信息海洋的防洪堤那么随着数据日益增多防洪堤的压力总是不断上升而压力上升又改变了数据形象化的方式和作用这一点甚至普莱费尔也不曾料到。

形象化从对统计数据集的分析呈现发展为实时数据的不断变化图景。在Bostonography你可以像上帝一样鸟瞰波士顿所有按照当前时速进行颜色编码的公交车位置。Crimemapping.com实时显示按照报案地点分类的案发地情况用不同表情符号代表不同性质的案件。fbomb.co网站提供上推特的人何时何地如何说国骂的全球实时图景。

从“纽约出租生命中的一天”(NYC Taxis: A Day in the Life)可以得见美观、免费的数据丰富性。一位名叫Chris Whong的黑客根据《信息自由法》从出租车与电召车委员会(TLC)下载50G纽约市出租车数据利用这些数据制作了2013年某一天任意出租车的路线和收入图。你可以选择一辆车快进(或以正常速度——如果你有时间)观看它在曼哈顿大街上行驶像勤劳的小精灵吃豆子那样在身后留下一条蓝线。

数据形象化并非总是为了闹着玩。今年4月30日在Kickstarter发布的一个众筹项目将从OpenSecrets.org抓去竞选资金数据并以多种方式自动图像化清楚、简洁地显示政治家获得的资金数量和来源。这是超越透明性的下一个必要步骤不仅公布信息而且要公布该信息的意义。今年数据图像化最引人注目、最具革命性的实验之一是纪录片制作人、数据专家霍洛兰(Neil)的“二战死难者”(The Fallen of World War II)互动视频。该实验利用图表图像讲述历史表示成千上万死难者的几乎独家的抽象数据形象化地带领我们回顾二战和“大屠杀”。

视频六分钟左右镜头急剧仰拍现出摩天大楼似的柱状图表示前苏联军队870万人的伤亡。初一看似乎极不可能但随着镜头回摇在二战的巨大灾难中又合情合理。在这种不动声色的叙述中人类的死亡更显触目惊心。

之后的视频同样摄影手法反复出现冷冰冰的抽象数据变为视觉艺术让我们感同身受增加知识。现阶段人类遭遇普莱费尔也发现无法理解的海量数据。我们也觉得数据多得无法理解而这些数据又可能使得我们的世界不可理解。不过我们并非毫无办法。信息不仅需要自由它还需要看得见摸得着。

本文转自d1net转载

时间: 2024-08-31 22:07:39

《时代周刊》:用形象化的老办法对付大数据的相关文章

大数据时代你需要知道的7个大数据定义

文章讲的是大数据时代你需要知道的7个大数据定义,大数据究竟是什么?很多人可能仍然有些混淆,本文让我们来看看大数据的一些主要的定义.首先要注意的是,行业内的所有人都普遍认同,大数据不只是更多的数据. (1) 最初的大数据 大数据的特征可以用很多词来描述.2001年Doug Laney最先提出"3V"模型, 包括数量 (Volume).速度(Velocity)和种类(Variety).在那以后,业界很多人把3V扩展到了11V,还包括有效性.真实性.价值和可见性等. (2) 大数据:技术 为

云时代,企业怎样用CRM开展大数据营销

云时代的到来,改变了人们生活的方方面面.无论是快速发展的技术,还是重构的新型商业模式,都在表明云时代带来的巨大变革即将爆发.暗流涌动之下,企业自身急需进行转变,颠覆自己,否则只有等待被颠覆的命运.云时代的来临,致使企业的传统营销模式正在土崩瓦解,新型的.个人化的营销模式正在席卷残云.以前以一群人.一群东西为主导的规模营销正在消亡,取而代之的是以一个人.一个物体为最小服务单位的精确化营销.而大数据在此时的作用,犹如当代社会的经济引擎,指引着企业如何就客户的精准需求,来发挥客户的最大化价值,为企业的

从IT时代到DT时代 武汉光谷民企聚焦大数据

方向比努力更重要.昨日,一场以"未来企业成长"为主题的企业家论坛,吸引了100多名武汉高科技企业的领头人."关键时刻的方向选择决定了成败的70%."中西部地区最大服务外包企业.武汉佰钧成技术有限责任公司董事长耿标直言,大数据是一个非常有潜力的产业,从IT时代进入DT时代正成为全球大趋势. 无独有偶.在活动现场,武汉工程大学副教授张志就认为,我们已经生活在一个DT和无隐私的时代,大数据为我们解决未知问题提供了一种解决方案. 统计显示,目前我国大数据市场规模约为4.5亿

Shell在大数据时代的魅力:从一道百度大数据面试题想到的点滴

对于在Linux下开发的同学来说,Shell可以说是一种基本功. 对于运维的同学来说,Shell可以说是一种必备的技能,而且应该要非常熟练的书写Shell.对于Release Team,软件配置管理的同学来说,Shell也起到了非常重要的作用.尤其是分布式系统发展的如火如荼,很多开源项目都开展的如火如荼(好像不是分布式的系统都不好意思拿出来说事).分布式系统的配置,管理,Shell也起到了非常重要的作用,虽然只是简单的文件拷贝,但是谁让Shell天生是做这些的呢? 当然了,以上不是本文的主题.本

大数据时代:如何守护我们的数据安全

不管你承认不承认,我们已经全面进入了大数据时代.无时无刻,我们的很多信息都被通过各种途径传播出去,这就必然导致安全问题的产生. 大数据的安全问题有多严重?在此前举办的"2016中国大数据产业峰会"上发生的一个实例,就可见一斑. 在360展区,市民严女士随手将钱包.手机放到安检筐里,空手走过安检门.她通过安检门,突然发现大屏幕上显示出自己银行卡的姓名拼音.身份证号.银行卡号.卡片有效期.最近10次的消费时间.消费地点.取现记录.转账记录等等.严女士惊呼:"遇到了魔术师"

大数据时代的教育革命

"人类历史中的许多灾难都源于这样一个事实,即社会的变化总是远远落后于技术的变化.这是不难理解的,因为人们十分自然地欢迎和采纳那些能提高生产率和生活水平的新技术,却拒绝接受新技术所带来的社会变化--因为采纳新思想.新制度和新做法总是令人不快的." --斯塔夫里阿诺斯<世界通史> 在当今的信息时代,云技术.物联网和基于二者的大数据技术正推动教育发生着变革.未来教育在互联网等技术的作用下变的越来越个性化,通过对大数据技术的应用将有利于个性化教育,标准化的学习内容由学生自组织学习,

大数据时代企业投融资创新发展

大数据时代企业投融资创新发展的问题,涉及许多前沿科学技术问题. 上世纪90年代初,我在中央党校读博期间,研究决策科学,和它包含的认识论.如何依据有效信息,科学作出决策.当时主要接受了美国西蒙教授的理论,他是一位诺贝尔经济学奖得主,提出了"有限理性"理论,认为人的理性是有限的,只能从有限的信息量中,寻找相对好的决策.比如,要买一枝鲜花,并不需要跑遍所有的花店;要找一个合适的爱人,并不需要与全世界的女人谈一遍恋爱.差不多就行了. 我同意这种观点,但说差不多就行了,未免有点过于悲观和消极,而

安全:大数据时代的尖锐问题

上周五,央视对苹果搜集用户位置隐私问题提出质疑,将隐私与安全再次置于舆论的风口浪尖.在这个提到隐私泄露会让用户感到背后发凉,说到安全会让用户感到恐怖的年代,个人数据安全保护已经成为了一个尖锐的问题.随着大数据时代的到来,用户更多的数据被接入网络,安全问题因此更为尖锐. 在使用安卓系统的智能手机安装安全软件后,再启动任意一款APP,都会弹出会读取用户地理位置.电话簿等信息的提示.此前,我们依稀记得在脑海中留下深深印迹的3Q大战,根源同样是隐私这一个尖锐的话题. 从PC到手机,再到平板电脑,用户的隐

CIO时代APP微讲座:南京邮电大学李涛深度解读大数据时代的数据挖掘

3月13日下午,南京邮电大学计算机学院.软件学院院长.教授李涛在CIO时代APP微讲座栏目作了题为<大数据时代的数据挖掘>的主题分享,深度诠释了大数据及大数据时代下的数据挖掘. 众所周知,大数据时代的大数据挖掘已成为各行各业的一大热点. 一.数据挖掘 在大数据时代,数据的产生和收集是基础,数据挖掘是关键,数据挖掘可以说是大数据最关键也是最基本的工作.通常而言,数据挖掘也称为Data Mining,或知识发现Knowledge Discovery from Data,泛指从大量数据中挖掘出隐含的