《数据挖掘:实用案例分析》——3.3 常用的建模工具

3.3 常用的建模工具

  数据挖掘是一个过程,只有将数据挖掘工具提供的技术和实施经验与企业的业务逻辑和需求紧密结合,并在实施的过程中不断地磨合才能取得成功。因此我们在选择数据挖掘工具的时候,要全面考虑多方面的因素,主要包括以下几点:

  下面简单介绍几种常用的数据挖掘建模工具:

  1.Enterprise Miner

  Enterprise Miner(简称EM)是SAS推出的一个集成的数据挖掘系统,允许使用和比较不同的技术,同时还集成了复杂的数据库管理软件。它的运行方式是通过在一个工作空间(Workspace)中按照一定的顺序添加各种可以实现不同功能的节点,然后对不同节点进行相应的设置,最后运行整个工作流程(Workflow),便可以得到相应的结果。

  2.Clementine

  SPSS的核心挖掘产品Clementine提供了一个可视化的快速建立模型的环境,作为业内领先的数据挖掘平台,允许企业利用业务专业技能快速开发预测模型,并迅速部署提升决策水平。Clementine能够帮助企业达成目标:

  Clementine虽然在数据挖掘算法上做得很好,但是没有充分考虑综合各种预测方法来优化预测结果,另外就是其可测量性较差。

  3.Intelligent Miner

  IBM的Intelligent Miner正在竞争数据挖掘工具市场的领导地位,竞争力主要集中在资料探勘上。

  4.SQL Server

  Microsoft的SQL Server中集成了数据挖掘工具,借助SQL Server的数据库管理功能,用户可以实现数据挖掘建模。在SQL Server 2008中提供了决策树算法、聚类分析算法、Naive Bayes算法、关联规则算法、时序算法、神经网络算法、线性回归算法等9种常用的数据挖掘算法。但是其预测建模的实现是基于SQL Server平台的,而平台移植性相对较差,也没有考虑综合各种预测方法来优化预测结果。

  5.MATLAB

  MATLAB(Matrix Laboratory,矩阵实验室)是美国Mathworks公司开发的应用软件,具备强大的科学及工程计算能力。它不但具有以矩阵计算为基础的强大数学计算能力和分析功能,而且还具有丰富的可视化图形表现功能和方便的程序设计能力。它的应用领域十分广泛,主要包括:数学计算和分析、自动控制、系统仿真、数学信号处理、图形图像分析、数理统计、人功智能、虚拟现实技术、金融系统等。

  6.WEKA

  WEKA(Waikato Environment for Knowledge Analysis)是一款知名度较高的开源机器学习和数据挖掘软件。高级用户可以通过Java编程和命令行来调用其分析组件。同时,WEKA也为普通用户提供了图形化界面,称为WEKA Knowledge Flow Environment和WEKA Explorer,可以实现预处理、分类、聚类、关联规则、文本挖掘、可视化等。

  7.TipDM

  顶尖数据挖掘平台(TipDM)是广州TipDM团队花费数年自主研发的一个数据挖掘平台,基于云计算和SOA架构,使用Java语言开发,能从各种数据源获取数据,建立各种不同的数据挖掘模型。

  TipDM支持数据挖掘流程所需的主要过程,并提供开放的应用接口和常用算法,能够满足各种复杂的应用需求。支持CRISP-DM流程所需的主要过程,并且完成一系列功能,包括:

  TipDM典型应用场景见图3-3。

时间: 2024-10-23 09:28:39

《数据挖掘:实用案例分析》——3.3 常用的建模工具的相关文章

《数据挖掘:实用案例分析》——导读

前 言 为什么要写这本书 现在,什么程序员最稀缺?什么技术最火?回答:数据挖掘! 数据挖掘是从大量数据(包括文本)中挖掘出隐含的.先前未知的.对决策有潜在价值的关系.模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法.工具和过程.数据挖掘有助于企业发现业务的趋势,揭示已知的事实,预测未知的结果,因此"数据挖掘"已成为企业保持竞争力的必要方法. 近年来企业所处理的数据每五年就会呈现倍数增长.大部分的企业并没有数据不足的问题,过度的数据重复与不一致才是大问题,这

《数据挖掘:实用案例分析》——3.4 本章小结

3.4 本章小结 本章主要介绍了数据挖掘建模的方法论和常用的建模工具.实践表明,由于人工智能发展的局限性,计算机在未来相当长的一段时期内不可能像人类这样会进行复杂的思考,它只会按照人的指令工作.但是,计算机拥有海量的数据存储能力和超强的计算能力,所以只要我们建立合适的业务模型,设计完善的执行程序,选择正确的分析算法,它一定可以更好地为我们服务. 数据挖掘技术是一个年轻且充满希望的研究领域,商业利益的强大驱动力将会不停地促进它的发展.每年都有新的数据挖掘方法和模型问世,人们对它的研究正日益广泛和深

《数据挖掘:实用案例分析》——2.3 关联规则

2.3 关联规则 我们经常会碰到这样的问题: 1)商业销售上,如何通过交叉销售得到更大的收入? 2)保险方面,如何分析索赔要求发现潜在的欺诈行为? 3)银行方面,如何分析顾客消费行业,以便有针对性地向其推荐感兴趣的服务? 4)哪些制造零件和设备设置与故障事件关联? 5)哪些病人和药物属性与结果关联? 6)哪些商品是已经购买商品A的人最有可能购买的? 除此之外,人们希望从大量的商业交易记录中发现有价值的关联知识,以帮助进行商品目录的设计.交叉营销或其他有关的商业决策.在商业销售上,关联规则可用于交

《数据挖掘:实用案例分析》——3.2 数据挖掘建模过程

3.2 数据挖掘建模过程 广州TipDM团队在多年的数据挖掘项目实施过程中,积累了一套行之有效的数据挖掘方法论,数据挖掘建模过程如图3-2所示. 3.2.1 定义挖掘目标 针对具体的数据挖掘应用需求,首先要非常清楚:本次的挖掘目标是什么?系统完成后能达到什么样的效果?因此我们必须分析应用领域,包括应用中的各种知识和应用目标.了解相关领域的有关情况,熟悉背景知识,弄清用户需求.要想充分发挥数据挖掘的价值,必须要对目标有一个清晰明确的定义,即决定到底想干什么.否则,很难得到正确的结果. 3.2.2

《数据挖掘:实用案例分析》——1.4 数据挖掘现状及应用前景

1.4 数据挖掘现状及应用前景 "数据海量,信息缺乏"是大多数金融企业所面对的尴尬.目前,金融业实施的大多数数据库只能实现数据的录入.查询.统计等较低层次的功能,却无法发现数据中存在的各种有用信息,例如对这些数据进行分析,发现其数据模式及特征,然后可能发现某个客户.消费群体或组织的金融和商业需求,并观察金融市场的变化趋势. 作为一门应用技术,数据挖掘可谓涵盖广泛,尤其在发达国家,数据挖掘技术的触角已经伸向了各行各业.只要企业拥有具分析价值的数据源,皆可利用数据挖掘工具进行有目的的挖掘分

《数据挖掘:实用案例分析》——第2章 数据挖掘的应用分类 2.1 分类与回归

第2章 数据挖掘的应用分类 由于数据挖掘能分析出数据中的有用信息,给企业带来显著的经济效益,这使得数据挖掘技术越来越普及.如在销售数据中发掘顾客的消费习惯,并可从交易记录中找出顾客偏好的产品组合,其他包括找出流失顾客的特征与推出新产品的时机点等都是零售业常见的实例:利用数据挖掘分析顾客群的消费行为与交易纪录,结合基本数据,并依其对品牌价值等级的高低来区隔顾客,进而达到差异化营销的目的:制造业对数据挖掘的需求多运用在品质控管方面,从制造过程中找出影响产品品质最重要的因素,以期提高作业流程的效率.

《数据挖掘:实用案例分析》——1.3 信息类BI应用与知识类BI应用

1.3 信息类BI应用与知识类BI应用 BI(Business Intelligence,商业智能)是一种运用了数据仓库.在线分析和数据挖掘等技术来处理和分析数据的崭新技术,目的是为企业决策者提供决策支持. BI是一个数据加工工厂,BI的原材料是海量的数据,BI的产品是由数据加工而来的信息和知识:BI将这些产品推送给企业决策者,企业决策者利用BI工厂的产品做出正确的决策,促进企业的发展.这就是BI--连接数据与决策者,变数据为价值. BI应用的两大类别是信息类应用和知识类应用,两者的主要区别见表

《数据挖掘:实用案例分析》——第3章 数据挖掘建模 3.1 数据挖掘的过程

第3章 数据挖掘建模 数据挖掘是从海量数据中提取隐含在其中的有用信息和知识的过程.各运营支撑系统所积累的海量历史数据是企业的一笔宝贵财富,谁能正确地挖掘与分析隐含在数据中的信息,谁就能更好地向用户提供产品与服务,从而在竞争中脱颖而出. 3.1 数据挖掘的过程 数据挖掘提供了从数据到价值的解决方案: 数据+工具+方法+目标+行动=价值 目前,数据挖掘已有一系列应用:分类分析.聚类分析.预测分析.偏差分析.关联分析和时序模式等,这些应用涉及的技术和工具各不相同,然而却可以依据统一的方法论来实行,并可

《数据挖掘:实用案例分析》——第1章 初识数据挖掘 1.1 什么是数据挖掘

第1章 初识数据挖掘 随着计算机技术.网络技术.通信技术和Internet技术的发展,以及各行各业业务操作流程的自动化,企业内积累了大量业务数据,这些数据动辄以TB计算.这些数据和由此产生的信息是企业的财富,它如实地记录着企业运作的状况.面对大量的数据,迫使人们不断寻找新的工具,来对企业的运营规律进行探索,为商业决策提供有价值的信息,使企业获得利润.能满足企业这一迫切需求的有力工具就是数据挖掘.对于企业而言,数据挖掘有助于发现业务的趋势,揭示已知的事实,预测未知的结果.从这个意义上讲,知识是力量