解读大数据应用价值发现的三大方法

关于大数据的讨论,一方面人们需要理清大数据的概念,开发适用的大数据系统和工具,探索大数据的应用模式等,另一方面人们更关心如何将大数据的价值变现。这对于一个企业来说尤其重要,否则,收集和存储了大量的数据,消耗了大量的钱财,如果大数据不能被很好地利用,从经济上讲就是不合算的,这样的事情也不会长远。

大数据价值的发现与其所处的应用场景密切相关。概括起来,大数据价值发现可以划分为三大类:数据服务、数据分析和数据探索。数据服务是面向大规模用户,提供高性能的数据查询、检索、预测等服务,通过直接满足用户需求而将数据价值变现的形式;数据分析是分析人员利用经验,通过对大规模数据使用特定的计算模型进行较为复杂的运算,从而发现易于人们理解的数据模式或规律所进行的数据价值变现的一种运算形式;数据探索是一种利用数据分析和人机交互的结合,通过不断揭示数据的规律和数据间的关联,引导分析人员发现并认识其所未知的数据模式或规律,其价值更多地体现在对未知途径的数据模式和规律的探索。

1. 数据服务

数据服务针对用户非常明确的数据查询和处理任务,以高性能和高吞吐量的方式实现大众化的服务,是数据价值最重要也是最直接的发现方式。由于要处理大众化的服务请求,每个服务任务必须能够被快速地处理掉,因此,数据服务的单个任务负载不能过于复杂,单任务直接处理的数据不能太大,任务对应的用户需求和采用的数据处理方法必须是明确的。一些典型的数据服务包括事务处理、数据查询、信息检索、数据预测。

大数据应用价值发现的三大方法

事务处理是传统数据库范畴的价值发现形式,它针对的主要是任务关键型的数据服务,如银行记账、商业交易等; 数据查询主要是面向快速查找或修改数据的服务需求,它比事务处理更简单,对数据一致性要求没那么强,但对服务的吞吐量要求非常高;信息检索是指从大规模的数据集中快速查找满足用户需求的资料或数据片段的过程;数据预测和数据分类被很多人认为是一种数据分析任务,其实,很多针对个体的数据预测和分类任务实际上是一种数据服务,它使用数据分析得来的预测模型,对个体数据实例进行预测,从而能够高并发地为大规模用户提供分类和预测服务,进而更好地体现出数据的价值。

2. 数据分析

数据分析是指用适当的统计分析方法对大量数据进行分析或建模,提取有用信息并形成结论,进而辅助人们决策的过程。在这个过程中,用户会有一个明确的目标,通过“数据清理、转换、建模、统计”等一系列复杂的操作,获得对数据的洞察,从而协助用户进行决策。常见的数据分析任务又可以被进一步划分为描述型分析、诊断型分析、预测型分析、策略型分析。

描述型分析的主要特点是对数据代表的含义进行描述性的揭示,通过数据统计分析揭示数据隐含的现象,从而帮助人们更好地进行决策。

诊断型分析主要用来揭示一些现象背后的成因,因此,它比描述型分析更深入。很多数据挖掘方法与诊断型分析密切相关。比如相关性分析和因果关系的分析等,都是想通过对数据的深度分析揭示描述型分析所发现的某些现象背后的成因。

预测型分析主要是使用机器学习技术,对现有的大数据进行深度分析,构建数据预测和分类的模型,从而更好地支持数据预测和分类服务。

策略型分析也称指导型分析,是在分析过程中减少甚至排除人的参与,在给定目标的驱动下,直接帮助人们找到好的策略,作用于大数据应用,使得未来数据指标能够按照设想的某些趋势发展。它是数据分析的高级阶段,更能发挥出大数据的价值。

总之,数据分析一般基于大量数据和较为复杂的运算模型,其结果信息量通常很大,适用于宏观决策。而对于细节层面信息的获取,数据分析缺乏如索引和访问控制等方面的技术支持。如何在一个平台上,既支持宏观的分析,也支持细节的分析,是当今一个挑战的技术难题。

3. 数据探索

数据探索是指针对目标可变、持续、多角度的搜索或分析任务,其搜索过程是有选择、有策略和反复进行的。它将以找到信息为目的的传统信息检索模式变为以发现、学习和决策为目的的信息搜寻模式。这样的搜索模式结合了大量的数据分析与人机交互过程,适合于人们从数据中发现和学习更多的内容和价值。

对于数据探索,用户可以在微观层面(数据搜索)和宏观层面(数据分析)之间进行自由切换,用交互式的方式探索并发现数据的价值。

目前,随着大数据研究的兴起,探索式搜索这种交互式分析和探索数据价值的方式,逐渐引起人们的重视,还有很多问题等待研究者们进行深入的研究。

数据服务强调从微观层面获取满足用户需求的精准信息,数据分析强调从宏观层面为用户提供数据洞察,进而提供决策支持,而数据探索则需要在宏观和微观两个层面进行自由切换。大数据蕴含大价值,数据服务、数据分析和数据探索是3个层次的数据价值发现方法。在很多应用下,这3类方法需要混合使用,才能更好地发现大数据的价值。

原文发布时间为:2017年7月13日

时间: 2024-11-03 07:02:41

解读大数据应用价值发现的三大方法的相关文章

大数据应用价值发现的三大方法

关于大数据的讨论,一方面人们需要厘清大数据的概念,开发适用的大数据系统和工具,探索大数据的应用模式等,另一方面人们更关心如何将大数据的价值变现.这对于一个企业来说尤其重要,否则,收集和存储了大量的数据,消耗了大量的钱财,如果大数据不能被很好地利用,从经济上讲就是不合算的,这样的事情也不会长远. 大数据价值的发现与其所处的应用场景密切相关.概括起来,大数据价值发现可以划分为三大类:数据服务.数据分析和数据探索.数据服务是面向大规模用户,提供高性能的数据查询.检索.预测等服务,通过直接满足用户需求而

解读大数据如何助力传统媒企转型升级

文章讲的是解读大数据如何助力传统媒企转型升级,10月24日至10月26日,以"丝路·新语"为主题的第22届中国国际广告节在西安隆重举行.中国国际广告节始办于1982年,是中国规模最大.影响最广的广告界盛会.此次盛会包括专业奖项颁奖.专业高峰论坛.专业展览展示和媒体资源推介.大型特色活动等五大项,共有来自国内外广告业界的5万多相关人士共享盛会. 作为浙江省大数据应用产业技术联盟理事长单位--泰一指尚以"互联网+"解决方案提供商的战略定位,携手基于大数据技术研发的大数据

解读;大数据带来的六种全新商业模式

文章讲的是解读;大数据带来的六种全新商业模式,人们认为"数据是新型石油",一种需要企业加以利用和改进的天然资源.这是事实还是炒作?Mohamed Zaki解释说,虽然许多公司已经从大数据中获益,但这也提出了严峻的挑战. 政府机构已经宣布加快大数据研究,而且根据Gartner公司的调查,2013年64%的公司正在投资--或打算投资大数据技术.Gartner公司也指出虽然企业相信大数据的优势,许多公司也正在从大数据中获取利用价值.但问题是他们往往倾向于数据收集方面的技术,而没有思考大数据如

桑文锋:深度解读大数据及数据分析方案

文章讲的是桑文锋:深度解读大数据及数据分析方案,2016年5月12日-14日,第七届中国数据库技术大会(DTCC2016)在北京国际会议中心正式拉开帷幕.作为国内数据库与大数据领域最大规模的技术盛宴,DTCC已经同大家携手走过七载春秋.本届是大会创办以来,规模最大,参会人次,参展合作伙伴最多的一次盛会,云集了来自五湖四海的5000余名IT精英,相聚在这里,共话数据库技术发展潮流,共赴大数据浪潮之巅.5月14日下午,在DTCC2016的专场上,Sensors Data CEO(前百度大数据部技术经

大数据量下MySQL插入方法的性能比较

文章讲的是大数据量下MySQL插入方法的性能比较,不管是日常业务数据处理中,还是数据库的导入导出,都可能遇到需要处理大量数据的插入.插入的方式和数据库引擎都会对插入速度造成影响,本文旨在从理论和实践上对各种方法进行分析和比较,方便以后应用中插入方法的选择. 插入分析 MySQL中插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例: ·连接:(3) ·发送查询给服务器:(2) ·分析查询:(2) ·插入记录:(1x记录大小) ·插入索引:(1x索引) ·关闭:(1) 如果我们每插入一条都

国家信息中心周民:解读大数据纲要

文章讲的是国家信息中心周民:解读大数据纲要,自2015年8月国务院发布<促进大数据发展行动纲要>(以下简称大数据纲要)以来,大数据如雨后竹笋般成长起来,无论是政府还是产业界人士都在关注大数据的发展.国家信息中心周民副主任前段时间在中国(廊坊)大数据产业周活动中接受了IT168记者的采访,为我们详细解读了大数据纲要及大数据发展前景. 开放.创新.安全 大数据三大任务 通过大数据将推动政府管理理念和社会治理模式进步,加快建设与当前社会主义市场经济体制和中国特色社会主义事业发展相适应的法治型政府.创

解读大数据行业在2017年的新发展

随着科技的进步,大数据从科学前沿逐渐深入到各行业.2017年中国的大数据行业有什么新动态?大数据行业整体市场规模如何?大数据行业前景如何?如何助力企业发展?今日的比格数据,我们来一起解读大数据行业在2017年的新发展. 大数据行业整体市场规模及预测 整体来看,2017 年中国大数据行业的发展依然呈稳步上升趋势,市场规模达到了 234 亿元,和去年相比增速超过 39%.随着政策的支持和资本的加入,未来几年中国大数据规模还将继续增长,但增速可能会趋于平稳. 大数据在各行业应用状况 企业哪些方面最需要

高招攻略 领英助你清晰解读大数据专业

至顶网CIO与应用频道 06月28日 北京消息:走下高考的竞技场,又走上高招的棋局,2017年的准大学生们正在做一道人生中至关重要的选择题--专业选择.目前经济结构升级和科学技术进步将大数据专业带入了高招领域,攀升为热门话题,到底是明日黄花,还是经久不衰?领英为你清晰解读大数据专业. 专业现状:火爆之下的求贤若渴 大数据这个词已经热门有近十年的时间,可毕竟我们已经见过太多大一入学时还是热门专业,待研究生毕业时却已经成为"传统专业"的故事,所谓"花无百日红"的魔咒会不

解读大数据技术面临的三个重要技术问题

大数据技术面临的三个重要技术问题,我们一起来看看.当今,大数据的到来,已经成为现实生活中无法逃避的挑战.每当我们要做出决策的时候,大数据就无处不在.大数据术语广泛地出现也使得人们渐渐明白了它的重要性.大数据渐渐向人们展现了它为学术.工业和政府带来的巨大机遇.与此同时,大数据也向参与的各方提出了巨大的挑战,首先是大数据技术面临的三个重要问题:   一.如何利用信息技术等手段处理非结构化和半结构化数据 大数据中,结构化数据只占 15%左右,其余的 85%都是非结构化的数据,它们大量存在于社交网络.互