并行fp-growth图解

今天调研了并行化频繁模式挖掘算法PFP Growth及其在Mahout下的命令使用,简单记录下试验结果,供以后查阅: 环境:Jdk1.7 + Hadoop2.2.0单机伪集群 +  Mahout0.6(0.8和0.9版本都不包含该算法.Mahout0.6可以和Hadoop2.2.0和平共处有点意外orz) 部分输入数据,输入数据一行代表一个购物篮: 4750,19394,25651,6395,5592 26180,10895,24571,23295,20578,27791,2729,8637 7

原文地址:http://blog.csdn.net/aaronhadoop/article/details/24577221 一.Mahout简介 查了Mahout的中文意思--驭象的人,再看看Mahout的logo,好吧,想和小黄象happy地玩耍,得顺便陪陪这位驭象人耍耍了... 附logo: (就是他,骑在象头上的那个Mahout)  步入正文啦:        Mahout 是一个很强大的数据挖掘工具,是一个分布式机器学习算法的集合,包括:被称为Taste的分布式协同过滤的实现.分类.聚

       找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技的不断发展,相信这方面的人才需求也会越来越大. 纵观IT行业的招聘岗位,机器学习之类的岗位还是挺少的,国内大点的公司里百度,阿里,腾讯,网易,搜狐,华为(华为的岗位基本都是随机分配,机器学习等岗位基本面向的是博

前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技的不断发展,相信这方面的人才需求也会越来越大. 纵观IT行业的招聘岗位,机器学习之类的岗位还是挺少的,国内大点的公司里百度,阿里,腾讯,网易,搜狐,华为(华为的岗位基本都是随机分配,机器学习等岗位基本面向的是博士)等

      本文转载自tornadomeet博客,它是一篇非常好的归纳机器学习的文章.内容包括:朴素贝叶斯.决策树.Logistic回归.KNN.SVM.Boosting.LDA.Apriori等,这样一篇优秀的文章不得不让我转载记录.感谢作者~       原文链接:http://www.cnblogs.com/tornadomeet/p/3395593.html 前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你

1.2 Mahout算法库 Mahout自从2008年兴起以来,发展迅速,从最开始的只有推荐系统到现在的多个算法模块,涵盖了很多行业.这些模块有聚类算法.分类算法.协同过滤算法和频繁项集挖掘算法,每个模块都含有一个或者几个不同的实现算法,下面分别进行介绍.1.2.1 聚类算法 中国有句古谚语"物以类聚,人以群分".一个聚类即是一类物体的集合,集合中的个体是相似的,不同聚类中的个体是不相似的.聚类的二维图如图1-1所示. 图1-1 聚类二维图 针对上面的数据,我们可以很容易地把它们分为右

1.7 机器学习基础 既然你已经回顾了关于R的内容,我们将讨论机器学习的基础:什么是机器学习,今天如何使用机器学习,以及机器学习中的主要领域.本节将对机器学习进行概述,为你进入下一章机器学习的深入研究做铺垫.1.7.1 机器学习--真正的含义是什么 由于机器学习是一个囊括和借鉴了计算机科学中多个领域的概念和技巧的一门学科,所以它还没有一个明确的教科书定义.在大学中,机器学习也作为一个学术课程进行教授.随着机器学习和数据科学在网上的教育视频.课程和培训形式被大众广泛接受,该学科在最近有了显著的发展

2.3 算法家族在机器学习领域中有大量的算法,并且每年都有越来越多的算法被设计出来.在这个领域中有大量的研究,因此算法列表在不断地增加.并且,算法的使用越多,算法的改进也就越多.机器学习是一个工业和学术共同发展的领域.但是,正如蜘蛛侠被告知的"力量越大责任越大"一样,你应该也能理解掌握机器学习带来的责任.面对如此之多可用的算法,有必要了解它们是什么,适用于何种情况.在起初或许会感到无所适从和困惑,但是把这些算法进行分类是有帮助的.机器学习算法可以通过多种方式进行分类.最普遍的方式是将它

程序实例与分析 Hadoop 是一个实现了MapReduce 计算模型的开源分布式并行编程框架,借助于Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算.在本文中,详细介绍了如何针对一个具体的并行计算任务,基于 Hadoop 编写程序,如何使用 IBM MapReduce Tools 在 Eclipse 环境中编译并运行 Hadoop 程序. 前言 在 上一篇文章:"用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署"中,介绍