大数据概念一经提出便席卷全球，迅速的从概念转化为实践，给各个行业领域带来颠覆式的改造和创新，成为任何人都无法忽视的一股革命性力量。在数据生态系统中，个人的思维、企业的创新、国家的治理、国家之间的博弈方式，都将发生系统性改变。我们需要详细考察大数据产生、发展、深化的历程，在此基础上清醒把握大数据的系统变革意义。
大数据发展历程：从“灵感火花”到“时代浪潮”
萌芽时期。在上世纪80年代，国外的计算机学者在面对超出常规规模的数据时，就尝试着提出了“大数据”这一名词。但他们所提到的大数据只是软件工程师的非正式术语，和当前的大数据概念相比，在内涵上、特征上、影响力上都不可同日而语。
真正对数据快速增长这一现象密切关注、并正式提出“大数据”概念的是SGI(美国硅图公司，成立于1982年，是一家生产高性能计算机系统的跨国公司)首席科学家John Mashey。他在1997年的一篇题为“Big Data and the Next Wave of InfraStress”的演讲中，详细的讲述了数据量和数据类型的快速增长趋势给世界带来的挑战。John Mashey将大数据定义为数据存储密度的快速增长，他以磁盘密度为例进行说明，在1990年以前以每年130%的速度增长，1990年到1997年以每年160%的速度增长，到了1998年和1999年，增长速度将是每年200%，这是数据规模增长的一个直接的体现。随着数据来源的快速扩展，像图片、表格、模型、数据、视频、音频等更为复杂的数据，将会给互联网等基础设施带来压力。Mashey强调我们应该关注这一趋势，并设法应对这些新变化。
形成讨论风暴。2009年，《自然》杂志以专刊的形式提出了关于大数据的观点和访谈。随后，麦肯锡首次全面、系统地揭示了大数据革命的内涵和逻辑，并对其影响力进行了定量评估。麦肯锡研究院于2011年5月发布了报告《Big data: The nextfrontier for innovation, competition,and productivity》(大数据:下一个创新、竞争和生产力的前沿)，详细地回答了以下几个问题：究竟如何定义大数据？大数据涉及到哪些关键技术群？大数据能够为世界创造多大的价值？大数据为哪些行业带来最大的冲击和改变？企业和政府应该以怎么样的策略去迎接大数据革命？
在这份报告中，麦肯锡首次对大数据进行了一个相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集”。这篇报告引起了企业界、政府界、学术界对于大数据革命空前的重视和讨论，大数据的创新案例开始迅速增加。
认知走向成熟。国际数据公司IDC于2012年8月发布了一份题为“Big Data: Trends, Strategies, and SAP Technology”的报告，进一步提出了大数据的“4V”特征：数据量(volume)、数据速度(velocity)、数据多样性(variety)、价值(value)。从数据量来讲(volume)，数据规模将会从以往的GB和TB级别升级到PB和EB级别；从数据类型来讲(variety)，不同来源、不同格式的数据爆发式涌现，个人、企业、社会、政府都将密集地产生数据，结构化数据、半结构化数据、非结构化数据都将大规模增加；从数据速度来讲(velocity)，笔者理解其包含三个方面的含义。一是数据的增长速度在加快，平均每2年翻一番。二是数据的获得速度，可以没有时滞地实时监测一个病人、一台机器、一架飞机、一座城市、一个国家的运行态势，第一时间掌握进展。三是数据的处理速度也在加快，分布式计算大大提升了计算速度；从数据价值来讲(value)，大数据蕴含着大价值，需要用新的挖掘技术将之提炼出来，为决策提供支持。
大数据的“4V”定义提出之后，迅速成为广为接受的一个经典认知。但在笔者看来，“4V”定义过于局限在大数据本身的性质上，却忽视了大数据带来的认识论变革、方法论变革、世界观变革，此外，大数据时代个人的生存方式、企业组织管理模式、国家治理体系，许多方面都将被颠覆和重构，也就是说，大数据是塑造“社会关系”的基础性力量，这些重要内容应该体现到大数据定义中来。
大数据是一场管理革命。谷歌学术上引用量最高的大数据文献，是2012年10月发表于哈佛商业评论的一篇题为“Big Data：The Management Revolution”的文章，该文在两年多的时间里累计被引用接近500次。对于大数据的定义，该文援引了“3V”的思想，但除此之外，尤其强调大数据是引发管理革命的力量，认为大数据能够使管理者更好的运用数据证据而非直觉来进行判断，大数据可以让管理者掌握任何时间、任何地点、任何对象、任何方面的信息，“大数据的主要变化在于从数据中提炼信息，加以分析然后转化为商业优势。”
在倍受关注的《大数据时代》一书中，数据专家舍恩伯格对大数据的定义也更加侧重其系统性的变革意义。他指出，“最初，这个概念(大数据)是指需要处理的信息量过大，已经超出了一般电脑在处理数据时所能使用的内存量，因此工程师们必须改进处理数据的工具”，“今天，一种可能的(定义)方式，也是本书采取的方式，认为大数据是人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的。大数据是人们获得新的认知、创造新的价值的源泉；大数据还是改变市场、组织结构，以及政府与公民关系的方法。”可见，作者几乎完全扬弃了数据规模和数据特征的定义方法，将大数据带来的认知、价值、组织、政府治理的系统变革，做为定义大数据的核心内容。
多维度把握大数据变革意义
任何理论认识都是对实践进行抽象、总结、升华的结晶。要深刻理解大数据的本质，需要将大数据在实践上带来的广泛影响、冲击、变革进行系统的把握，可以从微观、中观、宏观三个层次把握。
微观层次看，大数据是信息经济时代人类努力记录、刻画、认知万事万物运动过程的必然结果，是数据高速增长并持续对人类数据承载能力、驾驭能力构成压力和挑战的现象的总结与表达。
从中观层次看，大数据是企业和国家新的资产形式，是信息经济时代最主要的生产要素，是改造“生产方式”的基础性力量。同时，它也是改造“社会关系”的基础性力量，个人的角色和思维、企业组织结构与战略、国家治理方式、国家之间竞争方式，将在数字空间中被重新构建。
从宏观层次看，大数据是认识论和方法论的变革，大量对象从不可知变为可知，从不确定性变为精确预测，从小样本近似推理变为全样本完整把握，以往人类一知半解的事物，现在可以完整的还原其面目，这可以说是人类认识世界和改造世界能力的一次升华。
笔者看来，以下几个方面尤其值得注意深入思考。
第一，大数据的根本点绝不在于数据规模之大。因为数据的绝对规模并不是大数据的有效标志，目前全球数据每两年翻一番，以指数型速度增长，无论今天看来多大的数据，在几年后都是微不足道的小数据。所以笔者更加强调大数据之所以“大”，是因为它持续对人类的数据承载能力和驾驭能力构成压力和挑战。IDC的数据显示，“数字宇宙的增长速度要远远高于世界存储能力增长速度。2013年我们仅仅有能力储存33%的数据资源，其余的只能丢弃，2020年我们仅能存储15%的数字宇宙内容。”
第二，大数据是促进生产力变革的基础性力量。这包括数据成为生产要素，数据重构生产过程，数据驱动型企业的快速崛起等。此外，数据做为生产要素构建起来的经济增长方式可能导致一些经济规律失效。过去的经济学规律非常强调“边际效应”，因为传统增长方式之下的能源、资源、环境都是越消耗越少，边际成本越来越高，最终约束经济无法持续快速增长。但数据做为生产要素其边际成本为零，不仅不会越消耗越少，反而保持“摩尔定律”所说的指数型增长速度，大数据时代需要新的经济增长理论来指导实践。
第三，大数据是促进国家治理变革的基础性力量。正如《大数据时代》作者舍恩伯格在定义中所强调的，“大数据是人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的”。在国家治理领域，阳光政府、责任政府、智慧政府建设，大数据为解决以往的“顽疾”和“痛点”提供了强大支撑；精准医疗、个性化教育、社会监管、舆情监测预警，大数据使以往无法实现的环节变得简单、可操作；大数据也使一些新的主题成为国家治理的重点，比如维护数据主权、开放数据资产、保持在数字空间的国家竞争力等。
第四，大数据是人类认识世界和改造世界能力的一次升华。以往由于处理数据能力的限制，人类只能从“小数据”中发现规律，对于隐藏在大规模数据中的规律却无缘问津，小到基因测序、原子运动、机器设备的全息监测，大到气象学、天文学，这些领域的数据规模正在失控，人类已经无法驾驭。但大数据极大地扩展了人类的能力边界，在数据密集型领域进行研究和创新成为可能，可以预期，在不远的将来，大数据必将形成一轮巨大的创新浪潮。
本文转自d1net（转载）