大数据分析模型到底需要满足哪些条件?

无论在报纸、杂志、机场媒体,还是在酒吧的闲谈中,大数据都成了一个热门话题。每个人都在谈论这个时尚的话题,但迄今为止只有极少数企业真正成功的运用这一技术!导致这一情况的重要原因就是企业对建立可操作的大数据分析模型成功关键因素缺乏深刻的认识。结合多年来与多家全球性公司合作经验,我们认为:为了取得成功,大数据分析模型需要满足如下几种要求:

(1)业务相关性。业务相关性是对分析模型的第一个关键要求。分析模型必须能够解决特定的商业问题。那些性能优越,却不能解决商业问题的模型是毫无意义的。显然,在模型开发前,对商业背景和业务问题有全面的理解必不可少。例如,在保险欺诈检测问题中,必须在一开始对如何定义、衡量和管理欺诈有清晰的界定。

(2)统计性能。影响模型成功的另一个重要关键因素是模型性能表现。换句话说,从统计意义的角度,分析模型应该显着提高预测或描述的性能。根据分析问题的类型不同,常常采用不同类型的性能评价指标。在客户细分,统计评价指标主要评价对比簇内的相似性与簇间的差异性;在客户流失预测中,主要评价模型是否赋予了潜在流失客户的较高得分。

(3)解释性和合理性。解释性是指分析模型容易为决策者所理解,合理性是指模型与专家的预期和业务知识相一致。解释能力和合理性都是主观判断,取决于决策者的知识和经验。这两个因素与统计性能分析之间常常是矛盾的,譬如:复杂神经网络和随机森林模型预测性能较好,但是解释性较差。所以,决策者需要在两者之间寻找平衡点。在信用风险分析等应用场景中,解释性和合理性是非常重要的因素,而在欺诈检测和营销响应建模中,这一因素就不是那么重要了。

(4)运行效率。运行效率涉及模型评估、监测、检验及重建过程中所需投入的时间。从这个因素来看,很明显的神经网络或随机森林效率较低,而回归模型和决策树等更有效率。在信用卡欺诈检测等业务场景中,运行效率是非常重要的,因为所有的决策必须在信用卡交易开始后几秒钟内完成。

(5)经济成本。经济成本是收集模型所需数据、运行模型以及分析模型结果的过程中所投入的成本,此外还包括引入外部数据和模型的成本。在分析模型的经济回报时,所有的这些成本都必须考虑在内,通常不是能简单直接计算出来的。

(6)合规性。在很多行业中,合规性变得越来越重要。合规性是指模型对现有制度和法律的遵从程度。在信用风险领域,分析模型符合巴塞尔协议II和III的规定尤其重要。而在保险行业中,模型则必须遵从欧盟偿付能力协议(Solvency II) 。

总结以上,在本博客文章中,我们简要论述了成功构建数据分析模型的关键因素。如我们所指出的那样,每个因素的重要性取决于模型应用场景。

本文转自d1net(转载)

时间: 2024-09-27 07:34:11

大数据分析模型到底需要满足哪些条件?的相关文章

大数据分析模型成功关键因素之我见

无论在报纸.杂志.机场媒体,还是在酒吧的闲谈中,大数据都成了一个热门话题.每个人都在谈论这个时尚的话题,但迄今为止只有极少数企业真正成功的运用这一技术!导致这一情况的重要原因就是企业对建立可操作的大数据分析模型成功关键因素缺乏深刻的认识.结合多年来与多家全球性公司合作经验,我们认为:为了取得成功,大数据分析模型需要满足如下几种要求: (1)业务相关性.业务相关性是对分析模型的第一个关键要求.分析模型必须能够解决特定的商业问题.那些性能优越,却不能解决商业问题的模型是毫无意义的.显然,在模型开发前

《大数据分析原理与实践》——2.1 大数据分析模型建立方法

2.1 大数据分析模型建立方法 大数据分析模型可以基于传统数据分析方法中的建模方法建立,也可以采取面向大数据的独特方法来建立.为了区分这两种模型建立方法,我们分别简称其为传统建模方法和大数据建模方法.由于这两种模型建立方法存在一些交集(如业务调研.结果校验等),我们采取统一框架来进行介绍,在介绍时区分两种建模方法的不同之处. (1)业务调研 首先需要向业务部门进行调研,了解业务需要解决的问题,将业务问题映射成数据分析工作和任务.对业务的了解无疑是传统建模方法和大数据建模方法都需要的. (2)准备

《大数据分析原理与实践》一一2.1 大数据分析模型建立方法

2.1 大数据分析模型建立方法 大数据分析模型可以基于传统数据分析方法中的建模方法建立,也可以采取面向大数据的独特方法来建立.为了区分这两种模型建立方法,我们分别简称其为传统建模方法和大数据建模方法.由于这两种模型建立方法存在一些交集(如业务调研.结果校验等),我们采取统一框架来进行介绍,在介绍时区分两种建模方法的不同之处.传统数据分析建模方法与大数据分析建模方法从大数据这个概念提出开始,就有"大数据分析方法与传统数据分析方法同与异"之辩.有的观点认为,传统分析是"因果分析&

大数据业务到底该由哪位企业高管负责?

文章讲的是大数据业务到底该由哪位企业高管负责,到目前为止,我们还很难说清到底由"C什么O"来打理大数据方面的事务.对于CIO们而言,如果他们想要承担起这份职责,首先需要把注意力从技术转移到业务创新身上. 许多企业都面临着相同的难题:"到底应该由谁来统领企业中的数据与分析工作?"答案多种多样,CIO只不过候选人之一. 尽管CIO中的"I"代表"信息",但很多企业实际上把它理解成了"基础设施",因此他们并没有切

《大数据分析原理与实践》一一第2章 大数据分析模型

第2章 大数据分析模型 大数据分析模型讨论的问题是从大数据中发现什么.尽管对大数据的分析方法林林总总,但面对一项具体应用,大数据分析非常依赖想象力.例如,对患者进行智能导诊,为患者选择合适的医院.合适的科室和合适的医生.可以通过患者对病症的描述建立模型而选择合适的科室:可以基于对患者位置.医院擅长病症的信息以及患者病症的紧急程度建立模型而确定位置合适的医院:还可以根据医院当前的队列信息建立模型进行推荐,如果队列较长则显示已挂号人数较少.等待时间较短的医生资料,如果队列较短则显示那些挂号费和治疗费

大数据,到底是“阿拉丁神灯”还是“潘多拉魔盒”?

大数据时代之下,用户隐私的尺度在哪里? 大数据,到底是让我们生活得更好的"阿拉丁神灯",还是让释放无数危险的"潘多拉魔盒"? 当前,大数据产业风生水起,走到哪里都有人谈大数据.但越接触大数据,我们就越担心,它到底是让我们生活得更好的"阿拉丁神灯",还是让释放无数危险的"潘多拉魔盒"? 很多人都并未意识到,自己头顶依然悬着一把法律之剑. 目前,欧盟已经出台了苛刻的数据保护条例,美国也对出售客户数据的运营商施以重罚,那么,还处在萌

职场思考----大数据人才到底值钱在什么地方?

周未跟一做人才外包服务朋友聊天,提到自己正在学习大数据技术的时候.他直接就说到他现在有需求,但就是招不到合适的人才.然后提到说现在大数据人才的价值,收入,待遇方面.可以说基本上将近到IT行业的顶级了.不由得,就开始思考,大数据人才的价值到底在什么地方? 大数据思维 个人感觉,这是首先第一个需要有的.因为我们现阶段生活在一个数据爆炸的时代,掌握良好的数据思维是对你的商业决策,乃至IT架构有很大的帮助.比如说,我们现在的数据类型很多,数据量很大.但是我们用到的却很有限,而这些有限的数据又不能够让我们

年薪至少20万,大数据人才到底为什么值钱?

周未跟一做人才外包服务朋友聊天,提到自己正在学习大数据技术的时候.他直接就说到他现在有需求,但就是招不到合适的人才.然后提到说现在大数据人才的价值,收入,待遇方面.可以说基本上将近到IT行业的顶级了.不由得,就开始思考,大数据人才的价值到底在什么地方? 大数据思维 个人感觉,这是首先第一个需要有的.因为我们现阶段生活在一个数据爆炸的时代,掌握良好的数据思维是对你的商业决策,乃至IT架构有很大的帮助.比如说,我们现在的数据类型很多,数据量很大.但是我们用到的却很有限,而这些有限的数据又不能够让我们

念叨千百遍的大数据,到底如何真正驱动企业运营?

本文首发于微信公众号:中外管理杂志.文章内容属作者个人观点,不代表和讯网立场.投资者据此操作,风险请自担. 企业最重要的思维,就是你要将现在已有的海量数据转变成真正能够驱动企业运营的能量. 企业最重要的思维,就是你要将现在已有的海量数据转变成真正能够驱动企业运营的能量. 嘉宾 | 国富资本董事长.原北京金融资产交易所总裁 熊焰山东红领集团总裁 张蕴蓝 浪潮国际执行总裁 胡海根 易观总裁 刘怡 主持人 | 复旦大学管理学院教授 刘杰 整理|本刊记者 朱冬 大数据对社会具有革命性意义 刘杰:现在,大