《数据挖掘：实用案例分析》——2.5 偏差检测

前 言 为什么要写这本书 现在,什么程序员最稀缺?什么技术最火?回答:数据挖掘! 数据挖掘是从大量数据(包括文本)中挖掘出隐含的.先前未知的.对决策有潜在价值的关系.模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法.工具和过程.数据挖掘有助于企业发现业务的趋势,揭示已知的事实,预测未知的结果,因此"数据挖掘"已成为企业保持竞争力的必要方法. 近年来企业所处理的数据每五年就会呈现倍数增长.大部分的企业并没有数据不足的问题,过度的数据重复与不一致才是大问题,这

第2章 数据挖掘的应用分类 由于数据挖掘能分析出数据中的有用信息,给企业带来显著的经济效益,这使得数据挖掘技术越来越普及.如在销售数据中发掘顾客的消费习惯,并可从交易记录中找出顾客偏好的产品组合,其他包括找出流失顾客的特征与推出新产品的时机点等都是零售业常见的实例:利用数据挖掘分析顾客群的消费行为与交易纪录,结合基本数据,并依其对品牌价值等级的高低来区隔顾客,进而达到差异化营销的目的:制造业对数据挖掘的需求多运用在品质控管方面,从制造过程中找出影响产品品质最重要的因素,以期提高作业流程的效率.

1.4 数据挖掘现状及应用前景 "数据海量,信息缺乏"是大多数金融企业所面对的尴尬.目前,金融业实施的大多数数据库只能实现数据的录入.查询.统计等较低层次的功能,却无法发现数据中存在的各种有用信息,例如对这些数据进行分析,发现其数据模式及特征,然后可能发现某个客户.消费群体或组织的金融和商业需求,并观察金融市场的变化趋势. 作为一门应用技术,数据挖掘可谓涵盖广泛,尤其在发达国家,数据挖掘技术的触角已经伸向了各行各业.只要企业拥有具分析价值的数据源,皆可利用数据挖掘工具进行有目的的挖掘分

2.3 关联规则 我们经常会碰到这样的问题: 1)商业销售上,如何通过交叉销售得到更大的收入? 2)保险方面,如何分析索赔要求发现潜在的欺诈行为? 3)银行方面,如何分析顾客消费行业,以便有针对性地向其推荐感兴趣的服务? 4)哪些制造零件和设备设置与故障事件关联? 5)哪些病人和药物属性与结果关联? 6)哪些商品是已经购买商品A的人最有可能购买的? 除此之外,人们希望从大量的商业交易记录中发现有价值的关联知识,以帮助进行商品目录的设计.交叉营销或其他有关的商业决策.在商业销售上,关联规则可用于交

3.2 数据挖掘建模过程 广州TipDM团队在多年的数据挖掘项目实施过程中,积累了一套行之有效的数据挖掘方法论,数据挖掘建模过程如图3-2所示. 3.2.1 定义挖掘目标 针对具体的数据挖掘应用需求,首先要非常清楚:本次的挖掘目标是什么?系统完成后能达到什么样的效果?因此我们必须分析应用领域,包括应用中的各种知识和应用目标.了解相关领域的有关情况,熟悉背景知识,弄清用户需求.要想充分发挥数据挖掘的价值,必须要对目标有一个清晰明确的定义,即决定到底想干什么.否则,很难得到正确的结果. 3.2.2

第3章 数据挖掘建模 数据挖掘是从海量数据中提取隐含在其中的有用信息和知识的过程.各运营支撑系统所积累的海量历史数据是企业的一笔宝贵财富,谁能正确地挖掘与分析隐含在数据中的信息,谁就能更好地向用户提供产品与服务,从而在竞争中脱颖而出. 3.1 数据挖掘的过程 数据挖掘提供了从数据到价值的解决方案: 数据+工具+方法+目标+行动=价值 目前,数据挖掘已有一系列应用:分类分析.聚类分析.预测分析.偏差分析.关联分析和时序模式等,这些应用涉及的技术和工具各不相同,然而却可以依据统一的方法论来实行,并可

1.3 信息类BI应用与知识类BI应用 BI(Business Intelligence,商业智能)是一种运用了数据仓库.在线分析和数据挖掘等技术来处理和分析数据的崭新技术,目的是为企业决策者提供决策支持. BI是一个数据加工工厂,BI的原材料是海量的数据,BI的产品是由数据加工而来的信息和知识:BI将这些产品推送给企业决策者,企业决策者利用BI工厂的产品做出正确的决策,促进企业的发展.这就是BI--连接数据与决策者,变数据为价值. BI应用的两大类别是信息类应用和知识类应用,两者的主要区别见表

3.4 本章小结 本章主要介绍了数据挖掘建模的方法论和常用的建模工具.实践表明,由于人工智能发展的局限性,计算机在未来相当长的一段时期内不可能像人类这样会进行复杂的思考,它只会按照人的指令工作.但是,计算机拥有海量的数据存储能力和超强的计算能力,所以只要我们建立合适的业务模型,设计完善的执行程序,选择正确的分析算法,它一定可以更好地为我们服务. 数据挖掘技术是一个年轻且充满希望的研究领域,商业利益的强大驱动力将会不停地促进它的发展.每年都有新的数据挖掘方法和模型问世,人们对它的研究正日益广泛和深

3.3 常用的建模工具 数据挖掘是一个过程,只有将数据挖掘工具提供的技术和实施经验与企业的业务逻辑和需求紧密结合,并在实施的过程中不断地磨合才能取得成功.因此我们在选择数据挖掘工具的时候,要全面考虑多方面的因素,主要包括以下几点: 下面简单介绍几种常用的数据挖掘建模工具: 1．Enterprise Miner Enterprise Miner(简称EM)是SAS推出的一个集成的数据挖掘系统,允许使用和比较不同的技术,同时还集成了复杂的数据库管理软件.它的运行方式是通过在一个工作空间(Worksp