大数据,其实并不是新的概念和现象

“大数据”,其实并不是新的概念和现象。早在1980 年代,美国就有人提出了“大数据”的概念。30多年来,由于信息技术的进步,各个领域的数据量都在迅猛增长,美国的企业界、学术界也不断地对这个现象及其意义进行探讨。最近这一两年,“大数据”这个概念在美国变得越来越流行、越来越重要。2012年3月,美国联邦政府宣布投入2亿多美元启动大数据的研发任务,并把大数据定义为和历史上的互联网、超级计算同等重要的国家战略。之所以上升到国家战略的层面,是因为随着数据的爆炸,数据的收集、保存、维护、共享、使用等等任务,都成为横跨各个领域、牵一发而动全身的现象和挑战。但这些现象和挑战的重中之重,还是因为人类分析和使用数据的能力大幅提高,通过数据的分析、开发和整合,人类现在可以发现新的知识、创造新的价值,从而带来“大知识”、“大科技”、“大智能”、“大利润”和“大发展”。

也就是说,大数据之“大”,其侧重点并不在于其表象的“大容量”,而在于其潜在的“大价值”。大数据的意义,也远远不局限于我们当前众多新闻报道中所津津乐道的“啤酒和尿布”等等通过数据挖掘、实现精准营销的故事。我认为,大数据之所以能被称为革命性的现象,是因为它标志着我们人类社会在从信息时代、经由知识时代快速向智能时代迈进。

我们不妨举一两个例子,来说明大数据对社会形态的影响,以及对国家战略的重要性。

今年以来,一股在线教育的浪潮正在席卷美国的教育领域,一系列新型的智能网络学习平台正在成为高科技领域创新和投资的重点,其中不少新兴的创业公司已经获得了初步的成功。如著名的在线教育公司Coursera,已经和普林斯顿、伯克利、宾夕法尼亚大学等30多所大学合作,在互联网上免费开放大学课程。也就是说,如今这些学校的一些课程,可以实现全球几十万人同步学习。分布在世界各地的学习者不仅可以在同一时间实时听取同一位老师的授课,还和在校生一样,做同样的作业、接受同样的评分和考试。一些学校,甚至开始投资建设自己的智能网络学习平台,今年5月,哈佛大学与麻省理工学院就宣布,将投入6000万美元建设一个智能学习平台,并向全世界免费开放。

这种智能网络学习平台的崛起,在美国引起了广泛的关注和激烈的讨论。其中的原因,是因为这个平台已经不是一个镜头、一段录像那么简单,而是能提供“行为评价和诱导”的智能平台。例如,通过记录鼠标的点击,计算机能够记录你在一张幻灯片上停留的时间,判别你在答错一道题之后有没有回头复习,统计你在网上提问的次数、参与讨论的多少,发现不同的人对不同的知识点的不同反应,从而总结出哪些知识点需要重复或强调,哪种陈述方式或学习工具最有效等等规律。再根据这些规律和分析,对学习者的学习行为进行自动的提示、诱导和评价,以弥补没有老师面对面交流指导的不足。

这个智能学习平台之所以强大,正是因为其背后的大数据。单个个体学习行为的数据似乎是杂乱无章的,但当数据累积到一定程度时,群体的行为就会在数据上呈现一种秩序和规律。通过收集数据,分析、总结这种秩序和规律,就能通过计算机对学习者提供有效的指导和帮助。哈佛和麻省理工学院之所以向全世界免费开放它们的学习平台,目的就是想让更多的学习者在上面学习,以收集更多的数据,从而研究世界各国学习者的行为模式,进而打造出更好的智能学习平台。

这个例子,不仅说明数据正在成为创新的基础、成为一个组织的财富,同时,也表明大数据正在催生一个更加智能的社会。那么,我们又该如何理解正在迈进的这个智能型社会呢?

理解这个问题的关键在于,无论是信息、知识,还是智能,在我们这个时代,都是以数据为载体存在的。数据是对信息的客观记录,当我们对数据赋予背景时,它就成为信息;信息是知识的来源,当把信息提炼出规律的时候,它就上升为知识;知识是智能的基础,当电脑、网络能够利用某种知识作出自动判别并采取行动为我们人类工作的时候,智能就产生了。信息时代的特点是信息流动的速度快、传播的广度大,新信息随时随地可得。如果以1946年人类发明第一台电子计算机为起点,人类社会进入信息时代已经有半个多世纪。应该说,这半个多世纪以来,信息技术在不断飞速发展,我们已经超越了信息时代,进入了知识时代。知识时代的最大特点,是知识无所不在,这也已经成为现实。各种各样经过整理的结构化、系统化的信息,例如以视频为载体的课程录像,已经在互联网上广泛传播,只要有心,知识也随手可得。大数据的出现,又促使我们向智能时代迈进,智能时代的特点是,无处不在的计算机和网络将像有智商的人一样,通过自动化的决策,为人类提供服务。这个时代,管理将更加精确、智能,人与人之间的合作、任务之间的对接会更加精准,国家和社会的运行成本将会越来越低。

回到上面的例子,不难想象,这种智能化学习平台将会带来的革命性影响。学校,曾经是最重要的教育资源,好的学校更是稀缺性的资源。由于这种智能型学习平台的普及,在不远的将来,名校将人人可上,也就是说,对中国这种教育资源还相对匮乏的国家来说,如果应对得当,资源匮乏的问题可以很快得到缓解。此外,这种智能型学习平台的出现,也将给整个教育行业带来冲击和挑战,名牌大学的品牌无疑会更加突出、更受追捧,普通大学的发展空间会受到什么影响?它们会不会衰减?如果不会,又该如何来吸引学生?既然最好的视频资源可以免费获得,教师的角色又需不需要调整?如何调整?这些问题,都是需要思考和面对的挑战。

这只是大数据大潮在教育领域掀起的一朵浪花。毫不夸张地说,大数据对人类社会发展的影响将是方方面面、难以估量的,任何一个行业都将受到大数据带来的冲击和影响。我们再以时下另外一个热门名词“智慧城市”为例。近几年来,国内外都兴起了建设智慧城市的浪潮。据国内智慧城市的领军公司——神州数码董事局主席郭为先生介绍:目前,国内有60多个城市已经将建设智慧城市纳入了“十二五”规划,智慧城市将成为拉动下一轮中国经济增长的重要动力。但从一个更高的角度来看,智慧城市的建设问题,其实是一个城市的大数据综合治理问题:一是要在以前没有收集数据的地方收集更多的数据,这主要是利用物联网的技术;二是要让不同系统的数据准确地对接起来,这是系统整合的任务;最后,还要利用数据可视化的技术把海量数据中隐藏的知识揭示、展示出来,让数据中的智慧能够以一种直观的形式流向城市的管理者、决策者和市民大众。作为国内智慧城市理念最有力的推动者,郭为先生还指出,智慧城市的建设,是在用信息技术解决社会治理中的难题,提高人民的幸福指数,这又证明,大数据的应用和价值,远远不是商业领域这么简单。

除了加速企业创新,引领新的经济繁荣,大数据还可以成为启动透明政府的利器。这些也是我在《大数据:正在到来的数据革命》一书中着墨较多的地方。世界知名的管理咨询大师达文波特,曾向我提及,中国的政府和企业在很多领域都有雄心勃勃的计划,这引起了全球的关注,这些雄心和计划,现在应该拓进到大数据的领域。这也是我写作的初衷。新年将至,我希望中国社会尽快制定和大数据相关的政策,出台具体的措施,从而抓住历史的机遇、推动社会的发展和进步。

2013年,我希望是中国社会的大数据年。

时间: 2024-08-01 01:23:30

大数据,其实并不是新的概念和现象的相关文章

《爆发》作者:大数据领域将有新赢家

本文讲的是<爆发>作者:大数据领域将有新赢家,全球复杂网络研究专家日前到访中国,为其新作<爆发>作宣传.他在接受国内媒体采访时表示,未来可能有新公司取代谷歌.Facebook等公司,成为大数据领域的赢家. <爆发>一书是一本讨论大数据问题的商业书籍.作为复杂网络研究的权威,巴拉巴西在大数据兴起的背景下,得出一个结论性的判断,认为人类行为93%是可以预测的. 巴拉巴西的研究是在人类生活数字化的大数据时代基础上进行的,移动电话.网络以及电子邮件使人类行为变得更加容易量化,将

大数据之Yarn——Capacity调度器概念以及配置

试想一下,你现在所在的公司有一个hadoop的集群.但是A项目组经常做一些定时的BI报表,B项目组则经常使用一些软件做一些临时需求.那么他们肯定会遇到同时提交任务的场景,这个时候到底如何分配资源满足这两个任务呢?是先执行A的任务,再执行B的任务,还是同时跑两个? 如果你存在上述的困惑,可以多了解一些yarn的资源调度器. 在Yarn框架中,调度器是一块很重要的内容.有了合适的调度规则,就可以保证多个应用可以在同一时间有条不紊的工作.最原始的调度规则就是FIFO,即按照用户提交任务的时间来决定哪个

中国大数据技术大会走向新阶段

摘要: 由中国计算机协会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013) 将于2013年12月5-6日在北京世 由中国计算机协会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5-6日在北

拥抱“大数据时代” 共享发展新成果

近现代历史上的数次技术产业革命,中国均以学习者和模仿者的姿态出现.而在云计算和大数据所带来的新变革中,中国与世界的距离最小,在很多领域甚至还有着创新与领先的可能.以开放的心态.创新的勇气拥抱"大数据时代",就一定会抓住历史赋予中国的这一伟大创新机会. 习近平在中共中央政治局第三十六次集体学习时强调,我们要深刻认识互联网在国家管理和社会治理中的作用,以推行电子政务.建设新型智慧城市等为抓手,以数据集中和共享为途径,建设全国一体化的国家大数据中心,推进技术融合.业务融合.数据融合,实现跨层

通信行业未来发展的“丝绸之路”:拥抱大数据时代 共享发展新成果

拥抱"大数据时代" 共享发展新成果 近现代历史上的数次技术产业革命,中国均以学习者和模仿者的姿态出现.而在云计算和大数据所带来的新变革中,中国与世界的距离最小,在很多领域甚至还有着创新与领先的可能.以开放的心态.创新的勇气拥抱"大数据时代",就一定会抓住历史赋予中国的这一伟大创新机会. 习近平在中共中央政治局第三十六次集体学习时强调,我们要深刻认识互联网在国家管理和社会治理中的作用,以推行电子政务.建设新型智慧城市等为抓手,以数据集中和共享为途径,建设全国一体化的国

中国的Palantir诞生,开启大数据关联挖掘的新时代

Palantir的名字可能很多人都还比较陌生,但要说在美国政府10年追捕本·拉登的行动中,大数据分析公司Palantir发挥了核心情报分析作用,抓住了本·拉登,相信大家就都有所耳闻了.Palantir与政府打交道,客户包括美国国家安全局(NSA).美国联邦调查局(FBI).美国中央情报局(CIA)和很多其他反恐和军事机构,也正因此Palantir也被称为美国最神秘的新创公司.外界对Palantir的了解一般仅限于其数据处理软件可用于打击恐怖分子和抓捕金融行业的犯罪分子. 如果,中国也拥有Pala

AdTime:大数据重塑电视产业新格局

文章讲的是AdTime:大数据重塑电视产业新格局,如今,人们身边的各种媒体都朝着互动性快步发展着,互动性满足了普通大众个性化的需求,也为过去单向传输的广电行业传播路径提出了警示,必须结束对用户单向.单一性传播的时代.作为即将进入大数据营销的最后一块高价值屏幕,诸多互联网及终端厂商纷纷看好智能电视这块巨大的市场,争先恐后的进来瓜分这块巨大的蛋糕. 在国家大力推动"三网融合"产业发展下,智能电视的发展搭上了一趟顺风车,中国智能电视的销售速度正在以每年50%的速度增长着,优质家庭式用户覆盖预

德勤:大数据时代下的新商务战略

 "一旦我们决定主动采取行动而非被动反应,可能性将数不胜数." 乔治 ·萧伯纳          大数据蕴藏着各种可能性.但套用乔治·萧伯纳的上述名言,企业领导者应如何主动采取行动而非被动反应呢?追求价值最大化的过程中,企业应主动出击,未雨绸缪.在适当的时机,通过大数据能够及时洞察在小数据中难以发现的新兴趋势,使企业在制定战略时更具前瞻性.   大数据应用现状  大数据的发展空间  事实上,在竞争激烈的环境中,大数据可能会迫使企业采取行动,而非被迫做出反应.然而,假设企业已对大数据应用

明略数据SCOPA发布 开启大数据关联挖掘的新时代

10月22日,明略数据战略产品发布会在中国大饭店隆重召开,同时也开启了基于数据关系挖掘的大数据智能分析新篇章.此次发布会吸引了众多明略数据的客户.合作伙伴及行业专业人士莅临到场.明略数据董事长吴明辉先生以及明略数据联合创始人冯是聪博士率领明略数据大数据科学家团队登台亮相,并与大家一起分享了挖掘复杂数据价值的技术.以人的思维导向实现数据洞察.明略数据全线大数据产品.行业领军客户合作成果以及未来对中国大数据产业的展望.本次发布会以"明万象·筑方略"为主题,发布会现场以数据系统的革命性产品S