我所理解的大数据

“大数据”一词时下的热门程度无需赘言,这一两年来互联网相关的任何活动、会议必不可少“大数据”板块。刚刚结束的第13届“中国互联网大会”也专设了大数据论坛。

对于任何一个大数据的从业者或初接触者,或许都会有个共同的感触:大数据很有用!大数据该怎么用?

关于大数据的著作和文章铺天盖地,似乎也共同在传递一个信息:越来越多的行业、人士开始关注并实际探索大数据的应用,我们正在一起描绘着大数据巨大效用的蓝图,但在实践的路上,我们都还在起步阶段小步前行。

大数据根基于互联网,数据仓库、数据挖掘、云计算等互联网技术的发展为大数据的应用奠定了基础。然而实践应用尚处于在探索中前进。同样作为探索学 习,我想从我个人的理解角度,分享并与大家探讨四个问题:大数据是什么?大数据可以做什么?大数据实际做了什么?大数据要怎么做?

首先,大数据是什么?

引用3个比较常用的大数据定义:

(1)需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

—— Gartner

(2)海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)、巨大的数据价值(Value)。

—— IDC

(3)或称巨量数据、海量数据、大资料,指所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

—— Wiki

其他关于大数据的定义也大抵类似,我们可以用几个关键词对大数据做一个界定。

首先,“规模大”,这种规模可以从两个维度来衡量,一是从时间序列累积大量的数据,二是在深度上更加细化的数据。

其次,“多样化”,可以是不同的数据格式,如文字、图片、视频等,可以是不同的数据类别,如人口数据,经济数据等,还可以有不同的数据来源,如互联网、传感器等。

第三,“动态化”。数据是不停地变化的,可以随着时间快速增加大量数据,也可以是在空间上不断移动变化的数据。

这三个关键词对大数据从形象上做了界定。

但还需要一个关键能力,就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了,但需要很长的时间去处理分析,那不叫大数据。从另一个角度,要实现这些数据快速处理,靠人工肯定是没办法实现的,因此,需要借助于机器实现。

最终,我们借助机器,通过对这些数据进行快速的处理分析,获取想要的信息或者应用的整套体系,才能称为大数据。

我们可以用下面的图示给大数据定义:

对大数据概念有了界定后,那大数据可以做什么呢?

想要应用大数据,从流程上来说,大概是这样。

首先我们要有数据源,然后对数据进行收集和存储,在这基础上,再进行分析和应用,形成我们的产品和服务,而产品和服务也会产生新的数据,这些新数据会循环进入我们的流程中。

当这整个循环体系成为一个智能化的体系,通过机器可以实现自动化,那也许就会成为一种新的模式,不管是商业的,或者是其他。

然后具体到实际的应用中,我认为,大数据能够实现的应用,可以概括为两个方向,一是精准化定制,二是预测。

首先,精准化定制。

主要是针对供需两方的,获取需方的个性化需求,帮助供方定准定位目标,然后依据需求提供产品,最终实现供需双方的最佳匹配。

具体应用举例,也可以归纳为三类。

一是个性化产品,比如智能化的搜索引擎,搜索同样的内容,每个人的结果都不同。或者是一些定制化的新闻服务,或者是网游等。

第二种是精准营销,现在已经比较常见的互联网营销,百度的推广,淘宝的网页推广等,或者是基于地理位置的信息推送,当我到达某个地方,会自动推送周边的消费设施等。

第三种是选址定位,包括零售店面的选址,或者是公共基础设施的选址。

这些全都是通过对用户需求的大数据分析,然后供方提供相对定制化的服务。

应用的第二个方向,预测。

预测主要是围绕目标对象,基于它过去、未来的一些相关因素和数据分析,从而提前做出预警,或者是实时动态的优化。

从具体的应用上,也大概可以分为三类。

一是决策支持类的,小到企业的运营决策,证券投资决策,医疗行业的临床诊疗支持,以及电子政务等。

二是风险预警类的,比如疫情预测,日常健康管理的疾病预测,设备设施的运营维护,公共安全,以及金融业的信用风险管理等。

第三种是实时优化类的,比如智能线路规划,实时定价等。

以上呢,是各种文献资料里,对于大数据可以用来做什么的一些畅想,事实上也许大数据可以做的事情,可以扩展到方方面面。

但是,我们再看现实中,大数据实际应用到了什么程度呢?

我认为,目前大数据真正实现了商业化的应用,只有一种,就是互联网营销。

其他我们前面列举的方向,会有些初步的应用,但基本都还停留在探索的阶段。比如疫情预测,无抵押信用贷款等,对于准确性、精细度、可推广性等方面还有待推敲。

造成大数据实际应用与目标蓝图之间差距的主要原因是什么,我认为是数据源的问题。

你必须先获得数据,然后才能应用数据。

因此,数据的可获取性,成为大数据在具体行业应用性评价的一个重要维度。

可以从数据的标准化、开放性和集中度几个维度衡量数据可获取性

同时,获取了数据之后,在应用数据方面,可以从大数据应用的潜在价值维度来衡量,包括效率的提升、成本降低或者是新模式的产生。

此外,还可以从大数据行业应用的可复制/推广性的角度来衡量,不仅包括在本行业内的推广,同时也包括跨行业的推广性。

从三个维度,我个人对大数据在各行业应用的可能性做了一个定位,但这个定位还是非常定性和粗略的,具体可能还需要对行业有更多的大数据应用的探讨和探索。

对于专门从事大数据应用的企业来说,大数据要怎么做?

我认为可以从两个维度发展,首先一个重点任务就是要累积数据,以自身拥有的互联网数据及大数据技术两个资源为基础,从一些细分应用切入,比如可以先 从企业角度,继而扩展到行业甚至跨行业的角度,从细分应用先有一些产品的产出,这会成为获取更多数据的入口,同时也为大数据更广应用提供了方向借鉴。

但还有一点,对于平台型的互联网企业,在确定与哪些企业或者行业数据结合、应用大数据时,可以有一些筛选条件,比如,是不是发挥了平台属性,另外,这种应用是不是具有可复制或推广性,不是只局限于某一个企业内,至少是可以应用到整个行业中的。

以上,是我个人对大数据的一些思考,也希望可以跟更多的朋友对于大数据实际应用上有些探讨和学习。

原文链接:http://www.36dsj.com/archives/12536

时间: 2024-11-03 11:19:10

我所理解的大数据的相关文章

我所理解的大数据个性化推荐

一.写在之前的题外话 缘起. 想起要写这篇文章,一方面是昨天终于把项亮写的<推荐系统实践>给看完了,另一方面是自己负责的推荐系统项目已经处于一个多版本迭代的阶段了,并且从最近的AB测试效果来看,新提交的算法模型还是有一定的进步的,如今已经把流量全部切换到了新算法中. 所以,结合看书的一些思考,以及实际操作的一些感想,总是有一些想要表达.分享的东西,不吐不快啊~~ 哈哈! 不过在说个性化推荐之前,说两个题外话. 首先就是关于看书这个话题,我在<这些年,这些挖掘机算法,这些反思>一文中

任正非新年讲话:华为理解的大数据

提起华为创始人任正非,很多人会不由自主联想到他行伍出身,行事作风颇有点毛泽东雷厉风行的影子.在2013年12月30日在华为2013年度干部工作会议上,任正非发表了一段讲话.在大数据这部分,他说:"业界说的大数据,不是大,而是搜索,而华为心中的大数据,是为互联网传递数据流量的管道做铁皮." 华为创始人任正非 以下来自华为创始人任正非于2013年12月30日在华为2013年度干部工作会议上的讲话,仅节选出对于产业未来发展方向之一--大数据这部分,给大家分享一下. - 大公司不是会必然死亡的

如何宏观理解大数据的流通版图

数据大规模流通与交易将会盛行,很大程度上已成为了业界对大数据未来应用模式的一个共识. 连在<中共中央关于制定国民经济和社会发展第十三个五年规划的建议>和国务院印发<促进大数据发展行动纲要>中,都作出了关于推进数据资源开放共享的战略规划,要求各级政府引导培育大数据交易市场,开展面向应用的数据交易试点,探索开展大数据衍生产品交易,鼓励产业链各环节的市场主体进行数据交换和交易,促进数据资源流通,建立健全数据资源交易机制,规范交易行为等一系列健全市场发展机制的思路与举措. 虽然上有政策.下

大数据创造了没人理解的人工智能

有了大数据分析之后,算法预言的基础可能会复杂得让常人难以理解:大数据运作的规模也会超乎我们的想象.我们该做些什么准备,才能避免大数据的世界变成一个黑匣子? 作者在<大数据:改变我们生活.工作.思考的革命>一书中作了思考. 现在的电脑系统是根据编写程序时明确要求它们遵循的规则来进行运算的.因此,当一个结果偶尔无可避免地出错的时候,我们可以回过头去,看看电脑是如何得出这个结果的.比如说,我们可以问"为什么外部传感器发现湿度突然大幅上升时,自动驾驶系统会将飞机抬高五度?"今天的电

大数据三理解

关于大数据概念,大家一提就是好多年.提到大数据的时候,也就个性化.精准化这么点说头,大家也只能想到这些.不为人知的是,其实IBM和很多大互联网公司早就在很多年前就提到了这个话题.但等到它真正展现出产品化或者商业化的价值的时候,却是在2011.2012年以后. 这种情况的出现是有其原因的: 第一,是这两年确实是随着社会化媒体的普及.数据的量爆发式的增长.大家每天在网上分享的文字.图片.视频,它的数据的规模要超过我们历史上任何时期.有价值的信息也越来越多.历史上,很多年前大家上互联网,信息无非就是各

东方国信:7个步骤让大数据开口说话

文章讲的是东方国信:7个步骤让大数据开口说话,"让数据开口说话",并不是一件容易的事.如同人类要想开口说话,信息的输入.储存.加工.处理,最终把思想以一种合适的方式表达出来,需要经过一个复杂的化学反应过程.对计算机系统而言,要想让数据开口说话,也要经过一个复杂的电子信息处理过程.在数据量呈爆炸式增长,数据类型呈多样化表现,数据价值日益受到重视的大数据时代,这个过程会变得更加复杂,应用也会更加广泛. 东方国信,一家坚持了18年自主研发之路的IT企业,正在试图通过一个完整的解决方案让大数据

大数据火爆发展,带动股票平步青云

2012年舍恩伯格的<大数据时代>热销,直接导致了大数据概念的迅速普及,但是即便是这样,一百个人依旧会给出一百个他所理解的大数据的解释.近期美国市场可视化数据分析软件供应商Tableau和大数据营销公司Marketo上市的火爆表现,引燃了资本市场对于大数据的想象,A股中只要能沾上大数据的边,股价更是平步青云,扶摇直上. 市场巨大 三个层面挖掘受益股 大数据时代的来临,是互联网发展到一定阶段的必然产物.随着互联网的高速发展,互联网中的信息量急剧增加.这些信息有用的部分被称为数据.当数据规模越来越

深入解读大数据

前言 近些年,由于计算机.物联网等信息化技术以及传感技术的发展,使得现代生活中出现了"一切皆可数据化"的思维,数据的产生方式由"人机"."机物"的二元世界向着融合社会资源.信息系统以及物理资源的三元世界转变,数据规模呈膨胀式发展. 例如,互联网领域中,谷歌搜索引擎的每秒使用用户量达到 200万,Twitter 每天的推特量已经超过了 3.4亿:科研领域中,仅某大型强子对撞机在一年内积累的新数据量就达到 15PB左右:电子商务领域中,作为世界连锁性

“大数据”与“海量数据”的区别

如果仅仅是海量的结构性数据,那么解决的办法就比较的单一,用户通过购买更多的存储设备,提高存储设备的效率等解决此类问题.然而,当人们发现数据库中的数据可以分为三种类型:结构性数据.非结构性数据以及半结构性数据等复杂情况时,问题似乎就没有那么简单了. 大数据汹涌来袭 当类型复杂的数据汹涌袭来,那么对于用户IT系统的冲击又会是另外一种处理方式.很多业内专家和第三方调查机构通过一些市场调查数据发现,大数据时代即将到来.有调查发现,这些复杂数据中有85%的数据属于广泛存在于社交网络.物联网.电子商务等之中