大数据分析原地踏步 原来是分析工具面临信任问题

有时候大数据分析似乎总是在原地踏步,似乎数据信任的问题阻碍了数据分析的进一步应用。业务领导们理解新数据分析是必须经历的转型,但是他们不确定这种转变是否值得信赖。最近,来自咨询专业服务公司KPMG(毕马威会计事务所)的一份调查报告对这种进退两难的处境给出了一些看法。

Forrester研究公司在2016年7月发起了一份调查报告,针对KPMG(毕马威会计事务所)管理的2165位数据和分析决策制造商进行调查。报告显示,数据和分析工具已被广泛用于分析现有客户(50%)和发现新客户(48%)。然而,只有大约34%的业务负责人“非常信任”工具分析业务运营数据得到的结论。

有迹象表明,在数据和分析工具方面的投入在增加。因此,数据分析领域的专家Bill Nowacki认为,分析结果的受信任程度理所当然也在变好。在SearchDataManagement组织的一次采访中,Nowacki表示分析工具需要更透明。也就是说,分析工具应该给管理层展示推荐观点背后的逻辑,展示分析工具给出结论的依据。

研究结果似乎把焦点集中在了数据信任的空白。未来大家对数据质量持有信心的趋势如何呢?

Bill Nowacki表示,目前大家对于“分析是必不可少的”这一核心理念已经基本认同了。不过,与此同时我们对管理层的培训还不够,业界普遍应该对此采取一定措施。

我们可以从调查报告的统计图表中看到,对分析的整体接受度展示出来是U形走势。回想前几年,那时候真的像是“西部狂野时代”,大家都在构建各种分析模型,没有充分的审查就很快直接购买。这些工具都被纳入常规决策。这种状态持续了较长一段时间。

后来,我们看到某些决策并没有预期的那么准确和最优。模型的真实可信度就面临了很大挑战。现在,我们处在U形趋势的底部,不过也开始苏醒了,现在是时候以更加严肃的态度来看待它了。我们要考虑使用哪些数据,数据来自哪里,数据是否足够正确等等。

业界已经有一些预测模型在使用了,尤其是在市场营销和定价方面。人们用模型做优化或者资产管理。我们看到许多类似的案例。但是,如果涉及到公司的关键业务,我们要确保业务稳定就要慎重考虑了。我们开始看到了U型趋势的另一边——低谷后的上升趋势,不过结构合理性、治理、法规遵从都要求更多分析透明度。

机器学习用于预测分析并没有改善透明度。看来要打开“黑盒子”帮助提升数据信任度并不容易啊。

如果你回顾一下FICO公司(全球预测分析和决策管理公司)的发展历程,就会发现在20世纪80年代到90年代,他们已经使用神经网络实现了较好的高度可预测的信用评分。不过,缺失的仍然是解释能力。

监管人员会来告诉我,“如果你想让大家都相信,你必须能解释为什么。”在“西部狂野时代”模型刚诞生时,大家都需要更好的透明度。我们需要理解引擎为什么会给出这些观点,并理解这些观点代表什么。

如果工具都是“黑盒子”,大家很难信任它。因此,在设计阶段做选择时应考虑提高透明度,这样可以逐渐培养一些信任。

今天我们看到的是更加深思熟虑的设计,我们花时间思考怎样才可以达到更好的效果,这样才会获得长足发展。例如,人们会检查他们的零售店投资组合,利用所有签名或登记信息发现所有店铺里真正优质的客户群。你能拿到的是所有的真实样本,可以在这个群体中设定目标价格,看是否能得到预期结果。一旦确认价格调整在小范围客户群中有效,就可以一点一点实施到更大范围的群体中。这种小步变革的方式很容易实现逐步推广。

高管们已经逐渐接受针对各种业务进行分析,但是没有什么比成功案例更有说服力了。我们应该深思熟虑地看待市场,看看我们设定的试验目标并验证之前利用大数据对市场的预测,这样也可以帮助增加对数据分析工具的信任。

本文作者:佚名

来源:51CTO

时间: 2024-10-29 16:13:46

大数据分析原地踏步 原来是分析工具面临信任问题的相关文章

大数据理论遇上新兴分析工具 挑战无处不在

对于大数据,有观点认为有了足够大的数据集,分析的统计方法就是非必要的.我们将其称为"N等价于所有"的理论.而按这样的说法,抽样和推理都是浪费时间.拥有了所有的数据,就只需让数据说话. 虽然"N等价于所有"的理论在短短几年前还是革命性的产物,作为正在上线的新颖而且更具潜在价值的分析方法,它很快就过时了.对于将所有数据对应一个给定主题这样的概念,物联网(IoT)分析和认知计算这对大数据的流行观点带来了挑战,而且这也要求那些分析专家重新对他们的做法进行评估. "

大数据百科:传统分析 vs 大数据分析

"大数据"是用来表示大量的没有按照传统的相关格式存储在企业数据库中的非结构化数据的总术语.以下是大数据的一般特点. 数据存储量相对于当前企业TB(TERA BYTES)字节的存储限制,定义在PB(PETA BYTES)字节,EXA字节以及更高的容量顺序. 通常它被认为是非结构化数据,并不适合企业已经习惯使用的关系型数据库之下数据的生成使用的是数据输入非传统的手段,像无线射频识别(RFID),传感器网络等. 数据对时间敏感,且由数据的收集与相关的时区组成. 在过去,专业术语"分

图解传统分析与大数据分析的区别

为什么大数据分析对企业很重要 主要的IT公司对分析软件和应用系统供应商的购买已经成为一种日常现象.我们已经看到"大数据分析"这个词汇被使用在许多企业的解决方案中. "大数据"是用来表示大量的没有按照传统的相关格式存储在企业数据库中的非结构化数据的总术语.以下是大数据的一般特点. 数据存储量相对于当前企业TB(TERA BYTES)字节的存储限制,定义在PB(PETA BYTES)字节,EXA字节以及更高的容量顺序. 通常它被认为是非结构化数据,并不适合企业已经习惯使

《Spark与Hadoop大数据分析》——1.3 工具和技术

1.3 工具和技术 让我们来看看在 Hadoop 和 Spark 中用于大数据分析的不同工具和技术. 虽然 Hadoop 平台可以用于存储和处理数据,但 Spark 只能通过将数据读入内存来进行处理. 下表展示了典型大数据分析项目中所使用的工具和技术.

安全领域中的大数据分析

企业定期收集几TB与安全相关的数据(比如网络事件.软件应用程序事件,以及人员活动事件), 用来作合规性和事后取证分析.据估计,不同规模的大型企业每天发生的事件在上百亿到上千亿之间.随着企业启用的事件记录源越来越多,雇用的员工越来越多,部署的设备越来越多,运行的软件越来越多,这些数值还会继续增长.不幸的是,这种数据量和多样性会迅速变成骆驼背上的稻草.现有分析技术无法应对大规模数据,通常都会产生很多误报,因此功效被削弱了.随着企业向云架构迁移,并且收集的数据越来越多,这个问题进一步恶化了. 大数据分

将大数据分析应用于网络 Cloudmeter迈出第一步

实际上,我们的网络中总会有大量的包含了各种实用信息的机器数据流,如果能有效的捕获这些数据并将其进行充分的分析和利用,一定是一个非常大的进步.Cloudmeter,一个新兴公司,在这方面迈出了第一步,该公司近日发布了一系列工具,通过超轻量级的代理端,捕获网络中的有价值数据.同时该公司还承诺,将在年底推出更多的分析工具,用于分析所捕获的数据流. 据Cloudmeter的 CEO Mike Dickey表示,Cloudmeter Stream代理端可被部署于网络和服务器上,用于实时捕获用户所需数据.

大数据分析不是巨大的负担,而是潜在的黄金

大数据分析是对海量数据的分析技术.大数据时代中,大数据的处理流程包含了数据采集.数据存储.数据分析以及数据挖掘等多个步骤,大数据分析是让无用数据提现价值的关键一步. 大数据分析的特点 大数据分析是利用多种手段从海量数据之中获取智能化.深入化而且更有价值的信息. 大数据分析与数据挖掘有着本质的区别,大数据分析需要大量的数据为基础,而数据量越大算法要求则越低.用于数据分析的数据类型并无固定要求,多为动态增量数据以及存储数据.在技术上,大数据分析技术已经比较稳定,目前不存在太多突破点. 数据挖掘又名资

大数据分析项目中的“最差”实践

本文讲的是大数据分析项目中的"最差"实践,大数据分析现在很火.只要你浏览任何IT出版物或者网站,你都能看到商务智能供应商和他们的系统集成合作伙伴推销帮助企业实施和管理大数据分析系统的产品和服务.这些广告和大数据分析的新闻以及供应商匆匆提供的案例研究可能会使你误认为大数据是很容易的事,误认为要成功部署只需要一种特别的技术. 如果它是那么简单就好了.当BI供应商乐呵呵地告诉你他们的客户已经成功部署大数据分析项目时,他们不会告诉你还有那么多失败的案例.大数据分析项目令人失望是有一些潜在原因的

大数据分析系统国家工程实验室成立

日前,大数据分析系统国家工程实验室正式成立.该国家工程实验室由中国科学院计算技术研究所牵头,联合中国科学院大学.中国科学院计算机网络信息中心.曙光信息产业股份有限公司.国创科视科技股份有限公司共同建设. 大数据分析系统国家工程实验室将在关键技术层面,突破大数据分析的核心技术瓶颈,研制第三代大数据分析软件栈,实现理论.架构.算法和接口的整体性.系统性突破,在科学发现.智慧城市.社会安全等方面形成重要应用.同时,工程实验室还将结合行业和地方产业的需求建立示范基地和分实验室,培养和汇聚大数据分析系统研