《Mahout算法解析与案例实战》一一 第3章 聚 类 算 法

第3章 聚 类 算 法

聚类在百度百科上的定义为:将物体或抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。
在自然科学和社会科学中,存在着大量的分类问题。聚类分析又称群分析,它是研究(样品或指标)分类问题的一种统计分析方法。聚类在生活中的应用有很多,例如,在商务上,聚类能帮助市场分析人员从客户基本库中发现不同的客户群,并且用购买模式来刻画不同的客户群特征;在生物学上,聚类用于推导植物和动物的分类,对基因进行分类,获得对种群中固有结构的认识;在互联网上,聚类也能用于对Web上的文档进行分类,以发现信息。不得不说,聚类在生活中的应用也是很广泛的。
聚类算法在Mahout中是单独的一个模块,这个模块包含很多不同的具体算法,在第1章中已经介绍,此处不再赘述。
本章主要分析Canopy、K-Means和Mean Shift这三个算法。一般按照下面的步骤进行分析:首先分析这些算法的基本原理,然后分析其在Mahout中的实现原理,最后通过对每个算法调用Mahout的算法包中相应的算法接口来实战演示如何调用每个算法,主要包括输入数据的获取、算法包中算法的参数意义、调用算法接口以及对生成结果的分析。

时间: 2024-09-03 11:23:11

《Mahout算法解析与案例实战》一一 第3章 聚 类 算 法的相关文章

《Mahout算法解析与案例实战》一一导读

Preface?前 言 为什么要写这本书 2010年以后,世界快速进入了大数据时代,Hadoop成为大数据分析的首选平台和开发标准,无数数据分析软件纷纷向Hadoop靠拢.在Hadoop原有技术基础之上,涌现了Hadoop家族产品,它们正在配合"大数据"概念不断创新,推动科技进步.因此,新一代IT精英也必须顺应潮流,抓住机遇,随着Hadoop一起发展和成长! 简而言之,Hadoop是由Apache基金会开发的一个优秀的云计算技术框架,用户在其基础上即使不了解分布式底层细节,也可以开发分

《Mahout算法解析与案例实战》一一

3.1 Canopy算法 3.1.1 Canopy算法简介在生活中,我们可以使用聚类解决很多问题,就像本章开始提到的几个例子一样.传统的聚类算法对于一般的应用问题(基本都是小数据量)都是可以解决的,但是当数据变得很大的时候,就有点"力不从心"了.这里的数据变得很大指的是:①数据的条目很多,整个数据集包含的样本数据向量很多:②针对①中的每个样本数据向量其维度很大,即包含多个属性:③要聚类的中心向量很多.当我们所要应用聚类算法的数据是上面所述情况时,传统的聚类方法应用起来就会相当棘手,这时

《Mahout算法解析与案例实战》一一1.4 本章小结

1.4 本章小结 本章首先介绍了Mahout应用背景,由云计算引入Hadoop,随后介绍了Hadoop云平台.Hadoop云平台的优势及其应用编程模型,由Hadoop云平台的编程引入Mahout.接着解释了Mahout的基本概念以及它的应用背景.在Mahout应用背景的基础上,介绍了Mahout算法库已经具备的算法模块,然后针对每个算法模块分别进行了每个算法的介绍.接着简单分析了Mahout的各种现有应用,其中商业上的应用比较突出,然而,在学术上,Mahout的应用也同样很广泛,一些大学课程中也

《Mahout算法解析与案例实战》一一3.4 本章小结

3.4 本章小结 本章首先介绍聚类算法的一般概念,然后简要分析了这类算法在生活中的应用,使读者了解了该类算法的应用场景.接着通过分析Hadoop云平台上面三个聚类算法的Mahout实现:Canopy.K-Means和Mean Shift算法,让读者在比较清晰地理解每个具体算法的原理的同时,了解该算法在Mahout的实现思路,开拓思维.并且在每个小节专门设置了算法实战,使读者通过实战可以轻而易举地学会如何调用该算法,为读者解决实际问题提供帮助.

《Mahout算法解析与案例实战》一一1.2 Mahout算法库

1.2 Mahout算法库 Mahout自从2008年兴起以来,发展迅速,从最开始的只有推荐系统到现在的多个算法模块,涵盖了很多行业.这些模块有聚类算法.分类算法.协同过滤算法和频繁项集挖掘算法,每个模块都含有一个或者几个不同的实现算法,下面分别进行介绍.1.2.1 聚类算法 中国有句古谚语"物以类聚,人以群分".一个聚类即是一类物体的集合,集合中的个体是相似的,不同聚类中的个体是不相似的.聚类的二维图如图1-1所示. 图1-1 聚类二维图 针对上面的数据,我们可以很容易地把它们分为右

《Mahout算法解析与案例实战》一一2.1 Mahout安装前的准备

2.1 Mahout安装前的准备 就像前面提到的,我们是在Hadoop云平台编写算法时遇到困难才想到使用Mahout的,所以首先要有一个Hadoop云平台才行.这里要注意的是,虽然Mahout最初应用的平台是Hadoop集群平台,但是现在经过扩展,Mahout已经不仅仅适用于Hadoop集群云平台了,还可以单机运行算法,即与使用Java编写的算法是一样的,而且这个算法还是被优化过的.配置基于Hadoop云平台的Mahout 环境所使用的软件包括Linux操作系统.JDK.Hadoop.Mahou

《Mahout算法解析与案例实战》一一3.3 Mean Shift算法

3.3 Mean Shift算法 3.3.1 Mean Shift算法简介 Mean Shift算法,中文可以翻译为均值偏移或均值漂移,最早是由Fukunaga在1975年发表的<The Estimation of the Gradient of a Density Function, with Application in Pattern Recognition>中被提出来,这是一篇关于概率密度梯度函数的论文.Mean Shift最开始的意思是偏移的均值向量,它是一种无参的估计方法,沿着概率

《Mahout算法解析与案例实战》一一2.3 测试安装

2.3 测试安装 首先下载测试数据,在浏览器中输入:http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data.html,下载相应的数据.测试数据是由Dr Robert Alcock在1999年利用程序合成的600个样本的控制图数据,每个样本包括60个属性列,一共可以分为6个类,分别为:正常(C).循环(B).上升趋势(E).下降趋势(A).向上移位(D).向下移位(F).图2-5中显示的是每个

《Mahout算法解析与案例实战》一一1.3 Mahout应用

1.3 Mahout应用 作为Apache基金会的顶级项目之一,Mahout的应用也极其广泛,一般分为商业应用和学术应用.在商业应用中,Adobe AMP公司使用Mahout的聚类算法把用户区分为不同的圈子,通过精确定位营销来增加客户.Amazon的个人推荐平台也是使用Mahout的算法库来进行推荐的.AOL使用Mahout来进行购物推荐.DataMine Lab使用Mahout的推荐算法以及聚类算法来提高客户广告投放的精确度.iOffer使用Mahout频繁项集挖掘算法和协同过滤算法为用户推荐