面对大数据分析的各种问题,我们该如何应对?

有人认为大数据只是一个空洞的商业术语,大有概念炒作的嫌疑。 事实上,大数据只是对于不同的人有不同的含义。众所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的、深入的、有价值的信息。

那么越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。那么在执行过程中通常会遇到哪些问题,我们该如何应对呢?

放慢脚步 回头看路

初创公司里的人们仿佛一直在被人念着紧箍咒:“要么快要么死。”他们是如此着急于产品开发,以至于他们常常没有空想用户对产品的具体使用细节,产品在哪些场景怎么被使用,产品的哪些部分被使用,以及用户回头二次使用产品的原因主要有哪些。而这些问题如果没有数据难以回答。

你没有记录足够的数据

光给你的团队看呈现总结出来的数据是没有用的。如果没有精确到日乃至小时的变化明细,你无法分析出来数据变化背后看不见的手。如果只是粗放的,断续的统计,没有人可以解读出各种细微因素对于销售或者用户使用习惯的影响。

与此同时,数据储存越来越便宜。同时做大量的分析也不是什么高风险的事情,只要买足够的空间就不会有系统崩溃的风险。因此,记录尽可能多的数据总不会是一件坏事。

不要害怕量大。对于初创企业来说,大数据其实还是比较少见的事情。如果正处于初创期的你果真(幸运地)有这样的困扰,Porterfield(本文)推荐使用一个叫Hadoop的平台。

及时解答团队成员的疑惑

许多公司以为他们把数据扔给Mixpanel, Kissmetrics,或者Google Analytics就够了,但他们常常忽略团队的哪些成员能真正解读这些数据的内在含义。你需要经常提醒团队里面每位成员多去理解这些数据,并更多地基于数据来做决策。否则,产品团队只会盲目地开发产品,并祈祷能踩中热点,不管最终成功还是失败都是一头雾水。

这就像有天你决定采用市场上常见的病毒营销手段吸引新用户。如你所愿,用户量啪啪啪地上来了。可此时你会遇到新的迷茫:你无法衡量这个营销手段对老用户的影响。人们可能被吸引眼球,注册为新用户,然后厌倦而不再使用。你可能为吸引了一帮没有价值的用户付出了过高的代价。而你的产品团队可能还在沾沾自喜,认为这个损害产品的营销手段是成功的。

这种傻错误经常发生。而如果你的企业在一开始就建立起人人可自助使用的数据平台,来解答他们工作中最重要的疑惑,则可以避免上文所说的悲剧。

把数据存放在合适的地方

很多公司把数据发给外包商储存,然后就当甩手掌柜了。可是常常这些数据到了外包商手里就会变成其他形式,而转化回来则需要不少工序。这些数据往往是某些宣传造势活动时期你的网站或者产品的相关数据。结合日常运营数据来看,你可以挖掘哪些活动促成了用户转化。而这样结合日常运营数据来分析用户使用历程的方式是至关重要的。但令人震惊的是,尽管任何时期的所有运营数据都至关重要,许多公司仍不屑于捕获及记录他们。约一半以上Porterfield所见过的公司都将日常运营数据与活动数据分开来看。这样严重妨碍了公司正确地理解与决策。

不拘泥于一个系统

任何一个好的数据分析框架在设计之初都必须满足长期使用的需要。诚然,你总是可以调整你的框架。但数据积累越多,做调整的代价越大。而且常常做出调整后,你需要同时记录新旧两套系统来确保数据不会丢失。

因此,我们最好能在第一天就把框架设计好。其中一个简单粗暴有效地方法就是所有能获取的数据放在同一个可延展的平台。不需要浪费时间选择一个最优解决方法,只要确认这个平台可以装得下所有将来可能用到的数据,且跨平台也能跑起来就行了。一般来说这样的原始平台能至少支撑一到两年。

不过度总结

这个问题对于拥有大数据分析团队的公司来说更常见。试想一下,有多少公司只是记录平均每分钟多少销售额,而不是具体每一分钟销售了多少金额?在过去由于运算能力有限,我们只能把海量数据总结成几个点来看。但在当下,这些运算量根本不是问题,所有人都可以把运营数据精确到分钟来记录。而这些精确的记录可以告诉你海量的信息,比如为什么转化率在上升或者下降。

人们常常自我陶醉于做出了几张漂亮的图标或者PPT。这些总结性的表达看上去很令人振奋,但我们不应该基于这些肤浅的总结来做决策,因为这些漂亮的总结性陈述并不能真正反映问题的实质。

本文转自d1net(转载)

时间: 2024-09-20 21:02:08

面对大数据分析的各种问题,我们该如何应对?的相关文章

安全领域中的大数据分析

企业定期收集几TB与安全相关的数据(比如网络事件.软件应用程序事件,以及人员活动事件), 用来作合规性和事后取证分析.据估计,不同规模的大型企业每天发生的事件在上百亿到上千亿之间.随着企业启用的事件记录源越来越多,雇用的员工越来越多,部署的设备越来越多,运行的软件越来越多,这些数值还会继续增长.不幸的是,这种数据量和多样性会迅速变成骆驼背上的稻草.现有分析技术无法应对大规模数据,通常都会产生很多误报,因此功效被削弱了.随着企业向云架构迁移,并且收集的数据越来越多,这个问题进一步恶化了. 大数据分

大数据分析和决策是新一代智慧城市的大脑

自智慧地球概念于2008年11月提出以来,整个地球都沉浸在如何变得更加智慧这个庞大的课题里,各种想法层出不穷,但我们看到的却是地球神经系统的不断发达而智能缺乏.本文借神经系统和大脑智慧这个话题,就如何建立智慧城市的智能系统做一些探讨.我们认为,大数据(Big Data)分析和决策是新一代智慧城市的大脑,是提升智慧城市"智商"的关键. 首先我们看看人类是如何传递信息的. 2000多年前,人类已经开始使用烽火台.间隔几里的众多烽火台,集信息收集.传递为一身,能够及时把外敌入侵的信息,较快地

《大数据分析原理与实践》——1.4 大数据分析的过程、技术与难点

1.4 大数据分析的过程.技术与难点 1.大数据分析的过程 大数据分析的过程大致分为下面6个步骤: (1)业务理解 最初的阶段集中在理解项目目标和从业务的角度理解需求,同时将业务知识转化为数据分析问题的定义和实现目标的初步计划上. (2)数据理解 数据理解阶段从初始的数据收集开始,通过一些活动的处理,目的是熟悉数据,识别数据的质量问题,首次发现数据的内部属性,或是探测引起兴趣的子集去形成隐含信息的假设. (3)数据准备 数据准备阶段包括从未处理数据中构造最终数据集的所有活动.这些数据将是模型工具

《大数据分析原理与实践》一一1.4 大数据分析的过程、技术与难点

1.4 大数据分析的过程.技术与难点 1.大数据分析的过程 大数据分析的过程大致分为下面6个步骤: (1)业务理解 最初的阶段集中在理解项目目标和从业务的角度理解需求,同时将业务知识转化为数据分析问题的定义和实现目标的初步计划上. (2)数据理解 数据理解阶段从初始的数据收集开始,通过一些活动的处理,目的是熟悉数据,识别数据的质量问题,首次发现数据的内部属性,或是探测引起兴趣的子集去形成隐含信息的假设. (3)数据准备 数据准备阶段包括从未处理数据中构造最终数据集的所有活动.这些数据将是模型工具

跳出大数据分析误区

"我知道每样从货架上移走的商品,我知道拥有会员卡的消费者的很多信息, 但是,当我们在货架上摆上与消费者购买的商品类似的产品时,并没有看到预期的收入增长."这是为什么? Big Data,大数据,是基于人们在因特网和社交媒体的种种行为而形成的量化信息.随着此类数据的逐步激增,激发起公司.学界和媒体利用这些数据的渴望.其中,公司的高管们十分着迷于通过客户的活动细节(如他们跟谁联系,喜欢什么等)来发现客户的购买倾向.而通过计算机的分类.过滤和建模,可以使基于互联网的数据分析成为现实,更刺激了

新手如何选择大数据分析工具

大数据火了!它带来了一个新的行业.一次新的机遇和一场新的挑战.不少目光长远的人已经着手准备"入水"大数据行业,这个过程中最重要的就是掌握一个或者多个数据分析工具.那么,面对众多的大数据分析产品,新手该如何选择呢? 需求放在第一位 不管是选择大数据分析工具还是其他工具软件,需求永远是我们的第一动机,简单而言就是我选择工具是用来做什么的.对于新手入门来说,是要优化报表,还是要收集.管理数据,亦或者是对接现有的数据库,对大数据进行分析和价值挖掘,这些动机需要首先确立. 确立了使用需求后,我们

详解:大数据分析的学习之路

以大数据分析师为目标,从数据分析基础.JAVA语言入门和linux操作系统入门知识学起,系统介绍Hadoop.HDFS.MapReduce和Hbase等理论知识和hadoop的生态环境 一.大数据分析的五个基本方面 1,可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了. 2,数据挖掘算法 大数据分析的理论核心就是数据挖掘算法,各种

大数据分析市场潜力巨大 业务价值已成关注焦点

日前,数据分析解决方案供应商Teradata天睿公司在上海盛大举办"2017 Teradata大数据峰会".本届峰会主题为"数据分析 卓越业务",围绕数据分析和业务咨询在各个行业的应用,尤其探讨了数据分析在人工智能.机器学习.物联网.云计算等前沿领域的应用和趋势,分享了全球领先企业通过数据分析实现业务创新与转型的最佳实践,诠释了数据分析成就卓越业务的巨大价值. 各行业展开数字化转型,市场机遇巨大 在峰会期间,Teradata 天睿公司国际集团业务拓展副总裁Mikae

2013云计算热门话题:大数据分析和CloudStack

随着云计算从测试进入到生产环境中,现实世界中围绕着云计算的细节的探讨愈演愈烈.我们找到了新年中云计算呈现的趋势.这些热门话题可能还不是最热的,但是随着2012年技术,兴趣点的不断升温,云计算问题和主旨我们将要在2013年来面对.关于云,在过去的一年中有哪些热点,2013年又有哪些趋势,让我们一起来看下. 大数据分析 今年已经证实了大数据的能量以及其能为企业带来的具有竞争力的优势.根据Gartner的内容,通过对于Web的研究,看到在2013年大数据的影响是唯一扩大的. 企业开始看到使用云计算中绑