大小数据 | 辨析大数据价值与小数据洞察

大数据技术的出现带给人们的思维方式、行为方式、媒体传播方式及社会治理方式等都诸多方面带来了革命性的变革。《大数据时代》一书的核心观点是说:“在大数据时代,我们正经历着一场生活、工作与思维的大变革。


我们没必要非得知道现象背后的原因,而是要让数据自己发声。”在大数据时代,相关关系能够帮助我们更好地了解这个世界,建立在相关关系分析法上面的预测是大数据的核心,通过找到“关联物”并监控它,我们就能够预测未来。


作者还提出了“大数据三原则”:要全体不要抽样,要效率不要精确,要相关不要因果。虽说该书作者提出的“要相关不要因果”的观点还值得商榷,但“相关性”观点还是从某个层面上说出了大数据时代的核心特征。大数据是往往是商业自动化产生的数据,又具有实时在线的特征。


与大数据概念相对应的,在这之前的数据似乎就是所谓小数据,如果有所谓的小数据概念的话,应该特指采用调查方法获得的抽样数据,或者是结构化的海量数据。对于小数据的分析通常采用的是传统的统计分析方法,是一种自上而下的实证研究方法论。小数据往往依托数理统计的大数定律,描述了抽样理论下样本最终服从中心极限定理的正态分布理论,强调描述性统计学和推断统计学。


大数据重预测,小数据重解释

大数据的开放性、公开性和易获得性,社交网络每天产生的大数据可以在一定规则开放性下,通过应用程序接口(API)和爬虫技术采集,一些商业机构和政府组织也向社会研究机构提供各种海量数据源,特别是政府开始提供权威开放数据源。大数据往往带有时间标签,更具预测性。国内外众多机构开始采集海量Twitter和微博上的传播信息和个人属性特征和标签,期望预测社会舆情和社会情感、预测电影票房、预测商业机会,进而期望预测人们的态度和行为。开放、公开易获得数据源是大数据时代的基本特征和产生社会影响本质。


大数据重发现,而小数据重实证

传统的小数据重实证研究,强调在理论的前提下建立假设,收集数据,证伪理论的适用性,采用随机抽样的定量调查问卷获取数据,验证假设。这是一种自上而下的决策和思维过程。而大数据重发现知识,预知未来,为探索未知的社会现象和发展规律带来机遇。这种预见性是一种自下而上的知识发现过程,是在没有理论假设的前提下去预知社会和洞察社会现象、趋势和规律。


大数据重相关,小数据重因果

大数据重关系,而不关心因果,关注是什么而不关心为什么,尽管大数据依然可以回答因果问题,但因果关系并非来自统计或数据,而是来自研究者的理论和假设。大数据分析更关注数据的相关性测量和商业应用价值。大数据挖掘往往是发现那些不能靠直觉发现的信息和知识,甚至是违背直觉的,有时候越是出乎意料可能越有社会和商业价值。媒体人应该有责任和有能力从数据中发现事物内在规律,发现内在,预警社会。


大数据重全体,小数据重抽样

大数据是商业自动化存储的数据,在软硬件满足的条件下可以分析海量数据。随着存储和软硬件的经济性和分析工具的高性能,海量数据的处理能力得到提升,数据挖掘算法不断改进和丰富,特别是统计分析和机器学习的神经网络建模技术发展,抽样并非是必要的手段和方法论。尽管大数据不一定是总体,理论上讲再大的局部也没有随机抽样更具代表性,但机器学习算法所带来的个性化推荐技术、非线性建模、网络分析、空间地理分析、实时在线的数据可视化分析手段都应成为我们认识世界、感知社会的重要手段和目的。


大数据重感知,小数据重精确

大数据具有变生产边应用,边应用边生产,实时在线分析的特点,往往更关注数据从总体上感知社会,通过大数据的在线可视化技术呈现大规模数据的流动模式,大数据时代背景下的社会治理、舆情研究、智慧城市、智能交通、传染病传播、谣言传播提供了数据基础。大数据同时关注对个体的数据挖掘,个性化推荐,精准营销,传播路径分析等应用领域都具有大数据特点。小数据往往采用显著性检验,统计显著性受到样本代表性和样本量的影响,对数据来源的真实性、无偏性和代表性格外重视。


大数据挖掘技术可以说是统计分析技术的进化,但狭义角度讲大数据的挖掘已经不是小数据时代的统计分析了,更多的是指机器学习算法和云计算技术,当然也包括传统的多变量高级统计技术。与此同时,数据科学(Data Science)兴起,人们调侃说数据科学家成为最抢手、最热门、最性感的职业。


尽管所谓的小数据具有大数据不可替代的商业应用和学术研究价值,但是大数据带来的社会变革是小数据无法比拟的,社会已经将大数据认为是国家发展战略,是社会第四生产要素,是驱动社会变革和创新的新动力。

大数据一切从开源开始,”软件定义一起,数据驱动未来,算法统治世界”是IT领域相关人士对大数据时代的最好诠释。特别是大数据与新闻融合产生了数据新闻,成为未来新闻事业的发展方向,这种报道形式不仅丰富了新闻的表现形式,而且改变了新闻生产流程,对于新闻从业人员的思维也是一次巨大的颠覆。

本文作者:沈浩老师

来源:51CTO

时间: 2024-08-31 05:53:09

大小数据 | 辨析大数据价值与小数据洞察的相关文章

大数据大垃圾中的“小数据”价值

"所谓'小数据',并不是因为数据量小,而是通过海量数据分析找出真正能帮助用户做决策的客观依据,让其真正实现商业智能."日前,在线业务优化产品与服务提供商国双科技揭幕成立"国双数据中心",该公司高级副总裁续扬向记者表示,数据对企业决策运营越来越重要,大数据时代来临,企业最终需要的数据不是单纯意义上的大数据,而是通过海量数据挖掘用户特征获取的有价值的"小数据",进而使企业获取有价值的用户信息,科学地分析用户行为,帮助企业明确品牌定位.优化营销策略.

磅:小数据大时代,数据革命迫在眉睫

演讲者:蔡凯龙,注册金融分析师(CFA), 金融风险管理师(FRM), 金融和计算机双硕士,金融博士生,互联网金融专家.现于德意志银行美国战略科技部,点石资产管理公司(DeStone Captial Management)的创始人合伙人兼任投资总监,曾任美国能源公司MXEnergy风控经理,担任休斯顿大学商学院金融系助理教授(Adjunct Professor),出国留学前在厦门开元期货当交易员.   主题概述: (一)小数据的介绍和定义 (二)小数据产生的原因 (1) 大数据对隐私无止境的侵犯

大数据,小数据,哪道才是你的菜?

美国著名科技历史学家梅尔文•克兰兹伯格Melvin Kranzberg曾提出过大名鼎鼎的科技六定律其中第三条定律是这样的[1]"技术是总是配"套"而来的但这个"套"有大有小Technology comes in packages, big and small". 这个定律用在当下是非常应景的.因为我们正步入一个"大数据big data"时代但对于以往的"小数据small data"我们能做到"事了

小数据:解决大数据难题的“良药”

当前,随着大数据日渐炙手可热,大数据的应用也在逐渐深入,然而,围绕大数据的争论却从未停止过,依然非常激烈.其中一个原因就是,尽管前景美好.潜力巨大,但在"大体量"数据利用及实现商业价值的过程中往往充满挑战.非常棘手. 如首先,需要强大的机器和经验丰富的数据科学家将原始信息及庞大数据转化为洞察力.在这个过程中,如何去分配正确资源,并跨部门和学科去释义这些信息都非常困难.而当我们从数据中抽离出洞察见解之后,下一步该如何去利用这些洞察也一样充满困惑. 那么,在目前阶段,该怎么办呢?笔者认为解

大数据,小数据,哪道才是你的菜

美国著名科技历史学家梅尔文?克兰兹伯格(Melvin Kranzberg),曾提出过大名鼎鼎的科技六定律,其中第三条定律是这样的[1]:"技术是总是配"套"而来的,但这个"套"有大有小(Technology comes in packages, big and small)". 这个定律用在当下,是非常应景的.因为,我们正步入一个"大数据(big data)"时代,但对于以往的"小数据(small data)&quo

小数据战略 决胜大数据时代

曾听美国同事讲过一个事情:http://www.aliyun.com/zixun/aggregation/6277.html">广告公司的某位客户恰巧是海军陆战队上校,他们在讨论数据可靠性的话题.上校说:"如果我在战场上获得一个情报,即使我并非100%确定情报的准确性,我仍然会根据情报做决策."他强烈认为有情报总比没有情报好 -- 我们不能仅仅因为信息的可靠性不足就忽视该情报.有人会认为这位上校是"小数据"的拥护者. 最近有大量围绕"大数据

大数据到底能干嘛?小数据你造吗?

互联网思维.大数据无疑是现在互联网圈里最火,也是最能招人眼球的2个词语,但是,什么是互联网思维,什么是大数据,各家也有各家的看法,怎样能更好的利用大数据更是人们热议的话题,哪大数据到底是什么呢?有幸听到了中国著名的网络数据分析的专家,宋星老师 的演讲说道了大数据的未来! 一.大数据的形成 互联网精神是什么,是开放.创新!互联网精神促使了互联网的快速发展壮大,随之而来的就是互联网信息数据的大爆炸,使得信息离散程度扩大!未来大数据的发展方向:去技术化,就是通过技术手段让使用大数据的人感觉不到大数据的

大数据时代的“小数据”

如今,CIO们都已经接受了"大数据"的概念,另一个概念也逐渐受到关注:小数据. 这两者看似是相对立的两端,但是这不完全正确.小数据往往指数据量;而大数据当然也包含了数据量,但是也包含了多样性,时效性,特定的技术或者其他概念. Kirk Borne,是美国乔治梅森大学的天体物理学和计算机科学的教授, 他认为这两者的区别是很重要的.Borne有关大数据的课程专注于大数据的属性和先进的分析技术, 而这些也几乎总是可以应用于小数据.但是后者却可以使学生进行实验,磨练他们在数据分析上的技能.而大

如何利用“小数据”战略应对大数据挑战?

ManageEngine公司是一家http://www.aliyun.com/zixun/aggregation/13597.html">企业IT管理软件提供商,总裁Raj Sabhlok表示:现如今,大数据为忙碌的IT部门提出了新的挑战,其中许多麻烦早已不仅仅只是实施并部署一项新的数据管理平台的后勤问题那么简单了.企业的IT部门的问题早已经从收集不到足够的数据转变为数据太多了. "如果倒退到10年前,从IT的角度来看,我们严重的缺乏收集的数据.彼时,我们对于企业相关的系统.网络