小白学数据分析----->怎么看待数据处理

本来这算不上一篇文章,但是我仍旧写了,除了解决一个小问题还要说点其他的关于数据分析的想法,首先先解决一个小问题。

第一部分

问题描述:处理游戏帐号信息时发现有重复的帐号,比如帐号A有N个重复项,希望留下1个重复帐号,但是要把剩下N-1个删除重复帐号删除。具体的原数据(黄色)模拟如下:

而我们希望得到的最终处理数据格式如右侧一列(绿色)所示。针对这个处理,其实有很多方法,可以参看小蚊子的《谁说菜鸟不会数据分析》,比如使用条件筛选就能搞定,今天不谈这个方法,说说另一种思路。

首先我们对于原数据进行排序,怎么排序都OK,重要的是重复项会在一起,如下图所示:

之后我们使用IF和Exact函数嵌套使用,解决这个问题,操作如下:

增加一列,叫做标识项,并写下公式=if(exact(A2,A3),1,2),关于Exact()和if()函数的使用介绍这里不再累术,自行查阅Excel函数帮助文档就OK了,具体公式如下图显示:

这里公式的秘密和为什么不解释了,估计大家看到这里都明白了,下面我们要继续操作,解决问题,之后选中第一行,快捷键“Crtl+Shift+L”打开自动筛选功能,筛选标识项为“1”的数据,如下图:

之后,选择这几行数据,然后删除,之后打开再次打开筛选,选择全部,结果数据如下所示:

但是到了这样这一步,其实已经完成了,可是很多人还是有疑问,那些空白行怎么办啊,我们需要数据都是像最开始的那个绿色的格式最好了,这样有空白的位置不好,至于这个问题,这里不回答了,大家自己想一想,其实很简单,非常容易解决。期待大家的答案。

第二部分

这一部分,其实还是想发一些牢骚和学习数据分析的建议,作为数据分析师,首先是先把数据处理和优化工作做好,当然这之前必须要进行商业理解,把问题搞明白,才能后期把数据提取出来,进而才能借助模型、算法进行数据处理,模型发布,评估,分析,这是一个完整的CRISP-DM,数据处理优化要用去整体流程80%的时间,因此快速有效掌握数据提取,处理方法很关键,其意义不仅仅在于效率效能的提升,最关键的是锻炼思维和形成一套自己的方法。

你说的有点夸大了吧?

很多人会有这个疑问,很正常,大多数情况下,我们喜欢把数据需求明确,然后让DBA同志帮助我们取数据,解决数据处理过程,但是往往需求理解的差异,导致了后续CRISP-DM全部错误,而且相当不容易发现,所以很多时候我们要自己来做,一个DMA同时也要会一点SQL,数据量非常大时自己倒入数据库,练习一下SQL操作。

当然这是适用于那些学过计算机的人,很多DMA是没怎么学过SQL,因此就会基本上借助Excel、SPSS解决数据处理,这个时候其实非常关键,早期我喜欢拿着网上的文档或者什么宝典来解决问题,发现没用,因为你看了你也记不住,你也不会用,只有当问题摆在面前时,你才有需求,要学习,但是往往又不能找到合适的答案,所以很多人借助别人力量解决,但是解决完了,你仍旧不会,下次问题摆在你面前,你还是不会。

所以,请不要逃避问题,有问题才是你学习Excel,数据处理的最佳时期和机会,不要小看摆渡,如果你能从浩瀚的搜索中找到解决你问题的办法,这是一种能力,如果借助那个答案,你有新的更好的解决之道这就是提升了。这是一种学习能力,通过问题学习。

其二,表述问题,找到自己的习惯。在搜索上如何把自己的问题表述出来,寻找答案,这是你的本事,就像你要求助于他人解决这个问题时,你依然要别人先理解你的需求,才能解决一样,在这一个问题肯定有很多的办法来解决,但不是每个办法都适合你,但是总有一个适合你,因此找到自己解决这种问题的习惯,以后越用越好,融会贯通。

其三,你要学会排列组合。这个排列组合不是真的排列组合,其实是说,日常我们在进行数据处理时,基本上80%以上的工作只需要20%左右的函数和方法就可以搞定了,比如vlookup,sumif,countif,if,条件筛选,排序等等,这也是符合幂律分布的。所以,尽管我们面临不同的问题和需求,但是通过这些公式的嵌套,组合,最后基本上都能解决我们的数据处理和分析需求,而如何优化,组合这就是看你的能力和发挥了,难道你说这不是一种锻炼吗?DMA的工作不仅仅是对得出来分析结果进行分析,在这个过程中,你如何应对产生的一系列问题都将有助于你发散思维,解决最后的分析。

好了废话太多,近期有时间,分享一些我的Excel技巧,欢迎大家也分享和评论。

时间: 2024-08-16 13:08:37

小白学数据分析----->怎么看待数据处理的相关文章

小白学数据分析------>日活跃人数分析

从今天开始,特开辟一个小专栏,题目暂定为小白学数据分析,鄙人不才,在数据分析的道路上走的崎岖坎坷,同时数据分析本身是一个多面和复杂的工作,要懂得理论(统计.概率.数据挖掘.算法.模型)更要懂得业务,懂得行业理论,还要有灵活多变的思维,想想还是很复杂和麻烦的,所讲内容不但是理论,不仅是数据,尽量把这些东西综合起来,立体的来看,鄙人水平有限,很多的内容是尝试和改进,参考了很多的材料,在木有高人指点和牛人帮助的情况下,我只能借助浩瀚的网络知识和自己的悟性,今天决心拿出来给各位主要是帮助大家和我一起进步

小白学数据分析----->付费用户的金字塔模型实践操作

免费游戏中付费用户模型分析 最近看了不少文章,对于付费用户的模型也有了很深刻的理解和认识,早先我做了不少关于大R,中间R,低端R用户的分析,想来还是觉得草草了事,近来有网友提出来,理论探讨的多了些,实践上手的东西少了点,毕竟还是叫做小白学数据分析啊,今天就把以前说过的付费用户的模型具体的实践一下. 感悟和理论 得到的灵感首先要感谢Nicholas Lovell 的这篇文章,是我得到了一些处理和分析这个模型的办法.连接如下: http://www.gamesbrief.com/2011/11/wh

小白学数据分析----->数据指标 累计用户数的使用

小白学数据分析--à数据指标累计用户数的使用 累计用户数是指注册用户数的累计,即可以认为是新用户的累计.在一般的数据统计中,我们基本上都会涉及到这个指标,且这个指标是逐渐累加的,比如: 时间                   注册用户数[新登用户]           累计注册用户数 1日                    100                                                 100 2日                    120   

小白学数据分析------>把握分析标准与敏感度

写在正文之前,想说几句话,今天是2012年3月16日,是我开博客以来的第9个月,9个月让我成长的非常迅速,这期间我收获了很多东西,认识了很多人,开了群,见了网站,持续的写博,从来没想到我的博客会有这么大的作用,从来没有SEO,从来没推广,从来没有任何宣传,我想到和我做的就是把我自己的成长纪录下来,把网游数据分析的点滴分享出来,当然我希望有人看,但是我毕竟不是高手,只是一个小白,小白只能是学习心得的纪录和整理,帮助自己理顺思路,很希望自己的文章有人看,因为那样就会有高手帮助我指点问题.今天 博客9

小白学数据分析----->什么是活跃_I(DAU)

最近和几个人聊天,大家对于活跃都有着自己的看法,此外因为一些标准的问题,不熟悉分析术语的很多人把活跃,留存等很多信息都搞混了.后来发现这是一个很现实的问题.在一些我 看来不是问题的问题都变成了问题了,因此在此特地说说活跃的事,帮助更多从事游戏数据分析的小白们成长. 究竟什么是活跃?在日常与外界合作过程中,我们经常日活跃.周活跃.月活跃等等信息,貌似听起来比较简单,但是真正如果自己实施操作统计数据时却发现自己又不懂这些定义,因此作为一些分析师.甚至开发人员就会发现很难去操作.以下我将描述三个活跃的

小白学数据分析----->渠道、运营、数据_I

学分析论坛|专注于游戏数据分析 针对本文的相关的讨论,请移步http://www.xuefenxi.com/forum.php?mod=viewthread&tid=112&extra= 上周六做了一个演讲,关于渠道.数据.运营的内容,今天开始,针对演讲的一些内容,有针对性的阐述一下.不过既然我是一个数据分析师,自然还是从数据分析角度来看待这个问题,在后期的文章中,我会加入一些案例,帮助理解. 渠道是最有效的获取潜在用户的方式 渠道存在海量的用户资源,并服务于开发者.渠道本身聚合了大量的用

小白学数据分析----->与MySQL有关的小知识_I

放在这个专题下,是因为有时候我们数据分析师的确是懂得一点数据库的操作知识或者会一些SQL,平时我用的比较多的就是MySQL,如果说我们一般就是要学一些SQL操作的话,可能就足以应付平时的工作,至于对象,比如Oracle,DB2等等数据库产品,这种SQL尽管差异有很多,不过总体上可以一条路走下来.不过今天说的几个问题是和MySQL产品本身有关系的,因为我们一些数据处理和分析是需要它来帮忙的. 和MySQL打交道,基本我们都是在解决与数据库连接的问题比较挠头,下面简单说说怎么通过MySQL与Exce

小白学数据分析------>描述性统计术语汇总

以下所说的统计学术语大家可以参考小蚊子blog的内容 (http://blog.sina.com.cn/s/blog_49f78a4b0102dwz9.html) 术语是帮助我们打开思路,通过多个角度对数据进行深度解读,数据分析师不能仅仅靠着对数据的一种感觉和敏感来进行数据分析,这样的主观性太强,在合理必要的情况下,使用前人已经总结和使用的方法往往对我们更有帮助,但也要记住不要陷入这个指标误区中,核心还在于人(但不是让你凭感觉作分析),在于人对待问题的思考方式,解决办法. 今天来说说描述性统计分

小白学数据分析----->首次购买记录分析方法

最近几天比较忙,大家都在问如何建立比较完整和有效的数据分析平台,说实话这个问题我考虑了很久,有效并有深度得数据挖掘与分析平台对于游戏产品的质量改善,人气.收益的提升,玩家资源的保有 ,客群分析非常有必要.众多经分系统的好处不在此处解释,且看今天讨论的内容,首次购买记录分析. 在如今道具收费的免费游戏中,首次购买记录的分析发挥着巨大的作用,这与电商的购买不太一样,还是存在很大的区别.道具收费的游戏中,道具购买是我们收益的主体,如何对于道具购买的分析是非常重要的一环. 由于道具收费的免费游戏,玩家存