小白学数据分析----->聚类分析理论之TwoSteps理论篇+实践篇

昨天分享了以前学习的聚类分析算法K-Means的部分知识,其实这个主要是了解一下这个算法的原理和适用条件就行了,作为应用而不是作为深入研究,能够很好的将业务和算法模型紧密结合的又有几人呢?所以一些基本知识还是很必要的,这里就是简单把看过的一些知识点列举一下,梳理一下,快速了解和使用。

今天把TwoSteps的知识也梳理一下,顺便做个小的演示,使用SPSS 19,后续在使用SPSS Modeler或者叫做Clementine再演示一次使用方法。首先上图。

TwoSteps支持数值型和分类型数据,这对于我们而言在使用时就方便很多,此外游戏数据一般来说都很大,TwoStep在这方面来说还是很具有优势的,数据迭代过程中的内存消耗和聚类数目确定,TwoStep表现的都很好,两步聚类避免了距离矩阵过大,导致算法执行效率下降,而这也是优势所在。好了以上的信息看多也没什么意义,还是看看怎么实践吧。

最近换了工作,开始做手机网游的数据分析,也是想尝试一下,面临一个问题就是游戏的留存比较差劲,想来想去就拿这个做一个聚类分析的例子吧。

首先,这里选取的是次日留存用户数据进行分析,之所以选择次日,是由游戏的特点决定的,再者手机游戏的周期相对短一些,所以如果考虑周,双周就不是很好了(当然也不是绝对的),其实3日留存也可以选择,只是需要了解你自己的游戏具体情况再做判断。

其次,选择什么时间的次日留存数据分析呢?这个问题困扰了我很长时间,因为本身分析新登玩家次日登陆的那部分群体的特征(其实这样分类的方式已经有些破坏了聚类分析的本质和诉求),我选取的时间是周五(为什么是周五,这里不说了,大家自己想),且从时间上,全部渠道(手机游戏渠道很多)均以开放,且离最近的开放的渠道有一段周期(数据平稳后)。同时游戏没有重大的更新,BUG,调整时期。

第三,既然要做聚类分析,那我们选什么数据作分析,提取特征呢?我们要做的是提取次日留存用户的特征,因此,根据需要我们提取了一些用户的数据点,如下图所示:

其实,还有很多的数据,然而这里很多都是取不出来的(2进制,你懂得),由于分析的是次日留存,因此用户的游戏进程大多数不会很长,这里也只会取一些和新登用户关联比较大的,比如来源,职业,好友,是否付费,等级(最高和最低等级)。其实按照我们分析的围堵不同还可以取其他的数据,这里就是一个演示,请见谅。下面就用SPSS 19演示一下怎么进行该计算过程。

打开“菜单|分类|两步聚类”,如下图所示:

弹出的菜单如下:

此时,要进行变量选择,如果是分类变量,就选择进入分类变量,如果是连续变量,就选择进入连续变量,选择如下:

距离变量:确定计算两个变量之间的相似性,对数相似值系统使用对数似然距离计算,而欧式距离是以全体变量为连续性变量为前提的,由于我们的数据中存在分类型变量,因此这里选择对数相似值。

聚类数量:允许指定如何确定聚类数。如果自动确定将会使用聚类准则中指定的准则[BIC 或者 AIC],自动确定最佳的聚类数,或者设置最大值。也可以指定一个固定值,不过一般来说就自动确定OK了。

连续变量计数:对一个变量是否进行标准化的设置。

点击选项,弹出如下的面板

离群值处理:这里主要是针对CF填满后,如何对离群值的处理。IBM SPSS手册如下所诉:

“如果选择噪声处理且 CF 树填满,则在将稀疏叶子中的个案放到“噪声”叶子中后,树将重新生长。如果某个叶子包含的个案数占最大叶大小的百分比小于指定的百分比,则将该叶子视为稀疏的。树重新生长之后,如有可能,离群值将放置在 CF 树中。否则,将放弃离群值。
如果不选择噪声处理且 CF 树填满,则它将使用较大的距离更改阈值来重新生长。最终聚类之后,不能分配到聚类的变量标记为离群值。离群值聚类被赋予标识号–1,并且不包含在聚类数的计数中。”

关于噪声处理,此处默认即可。

内存分配:指定聚类算法应使用的最大的内存量。如果该过程超过了此最大值,则将使用磁盘存储内存中放不下的信息。此项默认就行了。

连续变量的标准化:聚类算法处理标准化连续变量。

点击输出:弹出界面如下

图和表:

“显示模型相关的输出,包括表和图表。模型视图中的表包括模型摘要和聚类-特征网格。模型视图中的图形输出包括聚类质量图表、聚类大小、变量重要性、聚类比较网格和单元格信息。”有点用。

评估字段:“这可为未在聚类创建中使用的变量计算聚类数据。通过在“显示”子对话框中选择评估字段,可以在模型查看器中将其与输入特征一起显示。带有缺失值的字段将被忽略”可以不用理。

OK,此时,点击继续,然后确定,等待计算结果出来,这时首先弹出的是查看器:

之后双击这个模型,就会弹出来聚类浏览器:

以下介绍该浏览器的信息来自于IBM SPSS的官方手册,详见:http://www.dmacn.com/viewthread.php?tid=78&extra=page%3D1

“聚类浏览器”包含两个面板,主视图位于左侧,链接或辅助视图位于右侧。有两个主视图:
模型摘要(默认视图)
分群。
有四个链接/辅助视图:
预测变量的重要性.
聚类大小(默认视图)
单元格分布。
聚类比较。

“模型摘要”视图显示聚类模型的快照或摘要,包括加阴影以表示结果较差、尚可或良好的聚类结合和分离的 Silhouette 测量。该快照可让您快速检查质量是否较差,如果较差,可返回建模节点修改聚类模型设置以生成较好的结果。
结果较差、尚可和良好是基于 Kaufman 和 Rousseeuw (1990) 关于聚类结构解释的研究成果来判定的。在“模型摘要”视图中,良好的结果表示数据将 Kaufman 和 Rousseeuw 的评级反映为聚类结构的合理迹象或强迹象,尚可的结果将其评级反映为弱迹象,而较差的结果将其评级反映为无明显迹象。Silhouette 测量所有记录的平均值,(B A) / max(A,B),其中 A 是记录与其聚类中心的距离,B 是记录与其非所属最近聚类中心的距离。Silhouette 系数为 1 表示所有个案直接位于其聚类中心上。 值为 1 表示所有个案位于某些其他聚类的聚类中心上。值为 0
表示在正常情况下个案到其自身聚类中心与到最近其他聚类中心是等距的。
摘要所包含的表格具有以下信息:
算法。所使用的聚类算法,例如“二阶”。
输入功能。字段数量,也称为输入或预测变量。
分群。解中聚类的数量。

关于模型的使用的详细信息这里不再累述,请参考 官方手册 IBM SPSS Statistic 19 Base.pdf [152-159] 

时间: 2024-09-20 12:37:29

小白学数据分析----->聚类分析理论之TwoSteps理论篇+实践篇的相关文章

小白学数据分析----->聚类分析理论之K-means理论篇

聚类分析是一类广泛被应用的分析方法,其算法众多,目前像SAS.Splus.SPSS.SPSS Modeler等分析工具均以支持聚类分析,但是如何使用,尤其在网游数据分析方面,作用还是很大的,尤其是我们对于某些客群的分析时,排除人为的分组的干扰,客观和全面的展现客群的特征是一件很重要的事. 网游玩家的消费特征.游戏行为特征(副本.任务.交互).不同生命周期的玩家特征(新登玩家.留存玩家.流失玩家.回流玩家)等等,应用很广泛,然而我们发现有时候我们的划分是带有主观色彩的.比如明确分组变量.确定分组标

小白学数据分析------>日活跃人数分析

从今天开始,特开辟一个小专栏,题目暂定为小白学数据分析,鄙人不才,在数据分析的道路上走的崎岖坎坷,同时数据分析本身是一个多面和复杂的工作,要懂得理论(统计.概率.数据挖掘.算法.模型)更要懂得业务,懂得行业理论,还要有灵活多变的思维,想想还是很复杂和麻烦的,所讲内容不但是理论,不仅是数据,尽量把这些东西综合起来,立体的来看,鄙人水平有限,很多的内容是尝试和改进,参考了很多的材料,在木有高人指点和牛人帮助的情况下,我只能借助浩瀚的网络知识和自己的悟性,今天决心拿出来给各位主要是帮助大家和我一起进步

小白学数据分析----->付费用户的金字塔模型实践操作

免费游戏中付费用户模型分析 最近看了不少文章,对于付费用户的模型也有了很深刻的理解和认识,早先我做了不少关于大R,中间R,低端R用户的分析,想来还是觉得草草了事,近来有网友提出来,理论探讨的多了些,实践上手的东西少了点,毕竟还是叫做小白学数据分析啊,今天就把以前说过的付费用户的模型具体的实践一下. 感悟和理论 得到的灵感首先要感谢Nicholas Lovell 的这篇文章,是我得到了一些处理和分析这个模型的办法.连接如下: http://www.gamesbrief.com/2011/11/wh

小白学数据分析----->数据指标 累计用户数的使用

小白学数据分析--à数据指标累计用户数的使用 累计用户数是指注册用户数的累计,即可以认为是新用户的累计.在一般的数据统计中,我们基本上都会涉及到这个指标,且这个指标是逐渐累加的,比如: 时间                   注册用户数[新登用户]           累计注册用户数 1日                    100                                                 100 2日                    120   

小白学数据分析之关联分析理论篇

关联分析的学习 在说关联分析之前,先说说自己这段时间的一些感受吧,这段时间相对轻松一些,有一些时间自己自己来学习一些新东西和知识,然而却发现捧着一本数据挖掘理论的书籍在一点一点的研读实在是很漫长,而且看过了没有什么感觉.数据这一行理论很多,算法很多,模型很多,自己现在一直是结合业务来做的数据分析与挖掘,相比电商而言,游戏业做的数据大多很糙,但是仅仅结合业务和运营,更加注重我们客户的质量和维护,当然这不是说电商没做,实际上电商一直在做,然而最近一次经历发现,我们过多的时候去讨论了算法,模型,新理论

小白学数据分析------>把握分析标准与敏感度

写在正文之前,想说几句话,今天是2012年3月16日,是我开博客以来的第9个月,9个月让我成长的非常迅速,这期间我收获了很多东西,认识了很多人,开了群,见了网站,持续的写博,从来没想到我的博客会有这么大的作用,从来没有SEO,从来没推广,从来没有任何宣传,我想到和我做的就是把我自己的成长纪录下来,把网游数据分析的点滴分享出来,当然我希望有人看,但是我毕竟不是高手,只是一个小白,小白只能是学习心得的纪录和整理,帮助自己理顺思路,很希望自己的文章有人看,因为那样就会有高手帮助我指点问题.今天 博客9

小白学数据分析----->回归分析在游戏人气分析的应用探索

昨天简单说了一下相关分析在充值购买失衡方面的应用,今天就接着昨天的话题,说一下回归分析(Regression  Analysis),回归分析是研究一个变量(因变量)和另一个变量(自变量)关系的统计方法,用最小二乘方法拟合因变量和自变量的回归模型,把一种不确定的关系的若干变量转化为有确定关系的方程模型近似分析,并且通过自变量的变化来预测因变来预测因变量的变化趋势,在回归分析中两个变量的地位是不平等的,考察某一个变量的变化是依存于其他变量的变化程度,就是存在因果关系. 今天将利用回归分析对游戏数据分

小白学数据分析----->首次购买记录分析方法

最近几天比较忙,大家都在问如何建立比较完整和有效的数据分析平台,说实话这个问题我考虑了很久,有效并有深度得数据挖掘与分析平台对于游戏产品的质量改善,人气.收益的提升,玩家资源的保有 ,客群分析非常有必要.众多经分系统的好处不在此处解释,且看今天讨论的内容,首次购买记录分析. 在如今道具收费的免费游戏中,首次购买记录的分析发挥着巨大的作用,这与电商的购买不太一样,还是存在很大的区别.道具收费的游戏中,道具购买是我们收益的主体,如何对于道具购买的分析是非常重要的一环. 由于道具收费的免费游戏,玩家存

小白学数据分析----->留存率与运营活动分析_I

有关留存率的事情最近扯得比较多,因为在分析数据的时候,越发觉得,分析一定是要来解决问题的,留存率不知何时突然变得流行了,在此讨论留存率倒不是因为流行,而是觉得以留存率为核心,的确是可以帮助我们解决不少的问题,但前提是,不要只停留在你所知道的次日,3日,7日留存率就OK,因为纵然你知道与benchmarks是差距,如果只抱着这个指标,你依然不知道自己该怎么做.下面会给大家一张图,让小白们看到,真正懂得要如何看待和分析留存率的,恰好,也验证我之前的一个观点. 公测100+周,各周新用户在他们各自生命