最适合数据分析师的数据库为什么不是MySQL?

数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢?

虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构、成本、可伸缩性和性能,很少考虑另一个关键因素:分析师在这些数据库上编写查询的难易程度。最近,Mode的首席分析师Benn Stancil发布了一篇文章,从另一个角度阐释了哪一款数据库最适合数据分析师。

Benn Stancil认为数据分析工作不可能一蹴而就,分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能,而是编写查询语句时的细节。例如,在Redshift中如何获取当前时间,是NOW()、CURDATE()、CURDATE、SYSDATE 还是WHATDAYISIT。

在Mode公司,分析师每天都会使用各种不同的语言编写几千个查询,运行在Mode编辑器里的查询超过百万个,而Benn Stancil就是从这些数据出发,对MySQL、PostgreSQL、Redshift、SQL Server、BigQuery、Vertica、Hive和Impala这八款数据库进行了比较。

1.查询错误是否容易解决

首先,Benn Stancil认为查询错误是否容易解决是衡量数据库的一个最基本指标。数据库提供的错误信息(通常是语法错误、函数名错误、逗号错位等)最能表明该系统是否会对数据分析师造成极大的挫败感。通过对8种数据库查询错误频率的比较,Benn Stancil发现Vertica和SQL Server错误率最高,MySQL和Impala最低,如图所示:

但是,对于该结果Benn Stancil认为可能有点不严谨,因为Impala、MySQL和Hive是开源的免费产品,而Vertica、SQL Server和BigQuery不是,后三者的用户通常是有充足分析预算的大型企业,其较高的错误率很有可能是由于使用更深入而不是语言“更难用”。

  2.复杂性

除了错误率之外,Benn Stancil还讨论了复杂性。虽然不同语言其查询长度、查询复杂性和语言复杂性之间的关系盘根错节,要界定清楚很难,但可以间接使用查询长度作为度量的指标,因为一门语言之所以简单很有可能是因为它简洁。这八种数据库查询长度的统计结果如下:

如果说单纯地比较最终的长度有失偏颇,那么可以看看随着分析的逐步深入,查询逐渐变复杂的过程中,其修改次数与长度之间的关系:

该图显示,经过20次左右的编辑之后,查询长度通常会变为之前的2倍,而在100次编辑之后,长度会变为之前的3倍。那么在修改的过程中,其编辑次数与出错的比率又是什么样子的呢?

从图中可以看出,PostgreSQL、MySQL和Redshift的错误率较低,Impala、BigQuery和SQL Server的错误率较高。另外,和之前一样,Vertica的错误率依然最高。

3.分析师技能

此外,Benn Stancil认为分析师的技能也很重要。他对使用多个数据库并且在每个数据库上至少运行了10个查询的分析师进行了统计,计算了这些分析师在每个数据库上的查询错误率,并根据统计结果构建了下面的矩阵:

该矩阵展示的是顶部数据库与左边数据库相比其错误率的差别,数值越高表现就越差。例如,Hive和BigQuery交叉处的“20.2”表示:对使用这两款数据库的分析师,其使用Hive的错误率要比使用BigQuery高20.2。最底部的Total行是结果总计,从中可以看出MySQL和PostgreSQL始终表现较好;Vertica跳跃最大,几乎是从最底部跳到了中游,打败了SQL Server 和Hive,这也暗示了Vertica的高错误率很可能是由于分析师的能力而不是语言本身。

最后,Benn Stancil认为在分析的这8个数据库中,MySQL和PostgreSQL编写SQL最简单,应用也最广泛,但与Vertica和SQL Server相比它们的特性不够丰富,而且速度要慢。综合各方面的因素,Redshift或许才是最好的选择。 

本文转自d1net(转载)

时间: 2024-08-26 21:28:41

最适合数据分析师的数据库为什么不是MySQL?的相关文章

什么数据库最适合数据分析师

数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢?虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构.成本.可伸缩性和性能,很少考虑另一个关键因素:分析师在这些数据库上编写查询的难易程度.最近,Mode的首席分析师Benn Stancil发布了一篇文章,从另一个角度阐释了哪一款数据库最适合数据分析师. Benn Stancil认为数据分析工作不可能一蹴而就,分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能,而是编写查询语句时的细节.

什么数据库比较适合数据分析师

数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库比较合适分析师呢?虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构.成本.可伸缩性和性能,很少考虑另一个关键因素:分析师在这些数据库上编写查询的难易程度.最近,Mode的首席分析师Benn Stancil发布了一篇文章,从另一个角度阐释了哪一款数据库最适合数据分析师. Benn Stancil认为数据分析工作不可能一蹴而就,分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能,而是编写查询语句时的细节

数据分析师的必读书单

有不少人留言希望我推荐数据分析的书单,刚好即将春节,无论是假日学习还是年后,都值得充电.读书最好的时候是学生时期,其次是现在.内容按照 <如何七周成为数据分析师 > 的顺序. 数据分析是一门专业且跨越多个领域的学科,虽然我每篇公众号都足够篇幅(乃至我自己觉得啰嗦),可我还是得承认存在缺漏.如果有好书作为参考,对数据分析能力的成长更有帮助. 这份书单权作入门级推荐,如果大家有更好的欢迎留言说明.我不能保证全部看过,毕竟基础书没必要看几本,但我尽量做到客观.建议大家根据自己基础挑选,不要贪多. 大

数据分析师的职位划分

不同公司对数据分析师的职位划分稍有不同.在一些中小型企业,在没有成立独立的数据中心前,数据分析的相关职位往往是在市场部.运营部的管辖之下,人数通常在2-4人不等.对于一些大型企业,有独立的数据分析部门,团队成员也在数十人到百余人不等.对于职位头衔,有的按行政级别划分,如专员.主管.经理.总监等:也有的按专业水平划分,如助理.高级.资深.专家等. 数据分析职位整体上分为两大类: 数据分析师: - 专业能力成长路径:助理数据分析师-数据分析师-资深数据分析师-高级数据分析师 - 行政职位晋升路径:数

数据分析师的基本素养——论如何成为一名数据科学家 Part 2

更多深度文章,请关注: https://yq.aliyun.com/cloud 本文为<数据分析师的基本素养--论如何成为一名数据科学家>文章的第二部分,第一部分请点击这里. Pronojit Saha,数据发烧友 数据科学入门的自学之路 对于那些想要入门数据科学的新手,这里有一份大纲,或许能够为大家提供一些思路.(其内容摘自我的一篇博客:如何获得"基本技能集"-自主学习的方式).我的建议是从下面每项建议中逐一挑选一到两个资料或链接,掌握其中介绍的内容. 基本的先决条件:

组成数据分析师完整知识结构的七大板块

作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色.因此,一个具有较高层次的数据分析师需要具备完整的知识结构. 1. 数据采集 了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间.条件.格式.内容.长度.限制条件等.这会帮助数据分析师更有针对性的控制数据生产和采集过程,避免由于违反数据采集规则导致的数据问题;同时,对数据采集逻辑的认识增加了数据分析师对数据的理解程度,尤其是数据中的异常变化.比如: Omniture中的Prop变量长度只有

Intel研究院院长吴甘沙演讲全文:大数据分析师的卓越之道(32PPT珍藏版)

亲爱的各位同仁,各位同学,早上好.大数据时代数据分析师应该做什么改变?我今天的标题是大数据分析师的卓越之道.这个演讲信息量比较大,我讲的不一定对,即使对的我也不一定真懂了,所以请大家以批判的方式去理解. 这是一个典型的数据分析的场景,下面是基础设施,数据采集.存储到处理,左边是数据处理,右边价值输出.连接数据和价值之间的是知识发现,用专业词汇讲,知识就是模型,知识发现就是建模和学习的过程.问题来了,大数据时代带来怎样的变化?首先数据变得非常大,数据是新的原材料,是资产.货币,所以大家对价值输出的

如何成为数据分析师

最近几年大数据的概念比较火,越来越多的人感受到数据的价值,许多公司都开始招聘数据分析相关的职位.但如果你去看看国内的高校,会发现没有一所大学开有数据分析专业的,职位的成熟度还不够. 相比之下,从 2003 年兴起的互联网产品经理职位,就成熟一些,至少你可以找到大量的书,教你如何成为一名产品经理.而数据分析领域就没这么幸运了,相关的书籍虽然也有,但总觉得还没到火候. 都有哪些人想要成为数据分析师 从我看到想要成为数据分析师的人大致有三类: 第一类是非计算机专业的在校生,不知道怎么回事,反正就是对数

Twitter数据分析师独家披露其工作内容

文章讲的是Twitter数据分析师独家披露其工作内容,数据分析到底是什么?很多人都在嘴边讨论它们,却没有几个人真正见过它.这是当下科技行业最为火爆的职位,今天就让我们走进 Twitter 的数据分析世界,看看科技公司对于一个数据分析师的要求是什么?他们的实际工作内容究竟是哪些? 到了今年 6 月 17 日,Robert Chang 就在 Twitter 工作两年了.根据他个人的工作经历,Twitter 数据分析(以下简称为 DS)有了下面三个层面的变化: 1. 机器学习已经在 Twitter 多