数据蒋堂 | 还原分组运算的本意

分组是SQL中常见的运算,但未必所有人都能深刻地理解它。

分组运算的实质是将一个集合按照某种规则拆分成若干个子集,也就是说,返回值应当是一个由集合构成的集合,但人们一般不太关心构成这个集合的成员集合(我们称为分组子集),而是对这些子集的聚合值更感兴趣,因此,分组运算常常伴随着对子集的进一步汇总计算。

SQL就是这么做的,在写有GROUP BY子句时,SELECT部分除了分组字段外,就只能写入聚合运算表达式了。当然还有个原因是SQL没有显式的集合数据类型,无法返回集合的集合这类数据,也只能强迫实施聚合运算了。

久而久之,人们会认为分组总是需要配合后续的聚合运算,而忘记了分组和聚合其实是两个独立的步骤。

但是,我们仍然有对这些分组子集而不是聚合值更感兴趣的时候。

比如,我们想找出公司里有哪些员工和其他员工会在同一天过生日,很简单的思路是将员工按生日分组,然后找出成员数大于1的分组子集,再合并起来。这时候我们就不是只对聚合值(分组子集的成员数)感兴趣,而是对分组子集本身更感兴趣。

这个运算用SQL写起来就会比较啰嗦,需要用子查询,并且要遍历两次原集合。

SELECT * FROM employee WHERE birthday IN
( SELECT birthday FROM employee GROUP BY birthday HAVING COUNT(*)>1 )

(题外话:这里假定birthday字段就是生日,其实我们日常意义的生日是没有年份的,而数据表中的birthday字段则会有,这时候还需要把birthday转换成月和日再做GROUP和WHERE,但对于集合化不彻底的SQL,涉及两个成员的IN运算很难写,上面的birthday要改写类似month(birthday()*100+day(birthday)的样子,拼成一个单独的表达式才能使用IN来判断,书写要繁琐很多。)

有集合化更彻底的语法时,就可以保持住分组子集。这就是需要离散性来支持了,分组子集仍然是原集合成员构成。这样,分组和聚合还原成两个步骤,上面的运算就可以很清晰地写出来:

employee.group(month(birthday),day(birthday)).select(~.len()>1).conj()

(在这个表达式中我们使用了前面讲遍历语法时的~符号表示当前成员,也就是遍历过程中的某个分组子集。)

按birthday的月/日分组,过滤出成员数大于1的分组子集,然后求并集。事实上在做过滤时仍然要再二次遍历数据,但只是计数,不需要像SQL那样做比较,性能要好很多。

退一步讲,就算我们只对聚合值感兴趣,我们也可能需要保持住这些分组子集以便反复利用,计算出多种聚合值,而不是完成一次聚合后就将其丢弃,下次再计算时又要重新分组。分组是个成本不低的运算,现在一般使用HASH方法实现分组,计算和比较HASH值都要比简单遍历复杂很多。有些优化不好的计算方案还会使用排序的方法实现分组(很多报表工具是这么做的),性能更会差出一个级别来。

比如我们计算每个部门的人数,再计算出10人以上部门的人员平均年龄。这在SQL中就要写成两句,因为后者需要一个HAVING条件:
SELECT department, COUNT(*) FROM employee GROUP BY department
SELECT department,AVERAGE(age) FROM employee GROUP BY department HAVING COUNT(*)>=10

这里GROUP动作就要被执行两遍。
而如果能够保持分组子集,则只要做一次group就可以了:
g=employee.group(department)
g.new(~.department,~.len())
g.select(~.len()>=10).new(~.department,~.avg(age))

还有的可能是,我们确实只对一个聚合值感兴趣,但这个聚合值很难计算,并不能简单地用SUM/COUNT计算出来的,需要编段程序才行,这时候也需要保留分组子集,而用SQL就很难实现这种运算了。我们会在后续文章中举例。

分组的结果是集合的集合,它仍然是个集合,那显然还可以进一步分组。
g1=employee.group(year(birthday))          //按出生年份分组
g2=g1.group(year(birthday)%100\10)       //将所有分组子集按年代分组
g3=g1.(~.group(month(birthday))              //将每个分组子集按出生月份分组

后两步运算都会得到集合的集合的集合,三层或更深的情况在现实业务中很少碰到,但可以用来体会集合的思维方式以及分组运算的本质。

我们知道,SQL针对GROUP后的结果集过滤专门设计了HAVING关键字,许多初学者对HAVING的理解和运用都不到位。其实,HAVING从概念上讲是多余的,它和WHERE并没有任何差别,只是因为SQL无法保持分组子集,要把分组和聚合写在一句话中,又要和WHERE区分,然后硬造出来的一个关键字。如果能够保持分组子集后实现分步计算,HAVING是没有必要的。

清华大学计算机硕士,著有《非线性报表模型原理》等,1989年,中国首个国际奥林匹克数学竞赛团体冠军成员,个人金牌;2000年,创立润乾公司;2004年,首次在润乾报表中提出非线性报表模型,完美解决了中国式复杂报表制表难题,目前该模型已经成为报表行业的标准;2014年,经过7年开发,润乾软件发布不依赖关系代数模型的计算引擎——集算器,有效地提高了复杂结构化大数据计算的开发和运算效率;2015年,润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”;2016年,荣获中国电子信息产业发展研究院评选的“2016年中国软件和信息服务业十大领军人物”;2017年, 自主创新研发新一代的数据仓库、云数据库等产品即将面世。

《数据蒋堂》的作者蒋步星,从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞,虚拟与现实的相互交织,产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点,站在研发人员的角度从浅入深,进行全方位、360度无死角深度剖析;对于一些业内观点,站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展,站在业内专家角度给予预测和推断。静下心来认真研读你会发现,《数据蒋堂》的文章,有的会让用户避免重复前人走过的弯路,有的会让攻城狮面对扎心的难题茅塞顿开,有的会为初入行业的读者提供一把开启数据世界的钥匙,有的甚至会让业内专家大跌眼镜,产生思想交锋。

时间: 2024-10-30 20:01:16

数据蒋堂 | 还原分组运算的本意的相关文章

Python之数据聚合与分组运算

Python之数据聚合与分组运算 1. 关系型数据库方便对数据进行连接.过滤.转换和聚合. 2. Hadley Wickham创建了用于表示分组运算术语"split-apply-combine"(拆分-应用-合并). 3. GroupBy的size方法,它可以返回一个含有分组大小的Series. 4. gorupby对分组进行迭代,可以产生一组二元元组(由分组名和数据块组成). 5. 选取一个或以组列 对于由GroupBy对象,如果用一个(单个字符串)或一组(字符串数组)列名对其进行索

数据蒋堂 | 有序分组

我们知道,SQL延用了数学上的无序集合概念,所以SQL的分组并不关注过待分组集合中成员的次序.我们在前面讨论过的等值分组和非等值分组,也都没有关注过这个问题,分组规则都是建立在本身的成员取值本身上.但如果我们要拓展SQL,以有序集合为考虑对象时,那就必须考虑成员次序对分组的影响了,而且,现实业务中有大量的有序分组应用场景. 一个简单的例子:将一个班的学生平均分成三份(假定人数能被3整除).按我们在前面所说的分组定义,这也可以看成是一种分组,但这个运算在SQL中却很难写出来,因为分组依据和成员取值

数据蒋堂 | 非等值分组

我们在上一期研究了分组运算的实质,即将一个集合按某种规则拆分成若干子集.不过,上期的关注重点在于还原分组运算的步骤,而没有讨论拆分规则,例子中都是用某些字段(或表达式)来定义拆分规则,也就是SQL中使用的方法. 我们把这种拆分方式称为等值分组. 等值分组在数学上的描述,相当于在一个集合上定义了一个等价关系:分组字段(表达式)相等的成员(记录)就认为等价. 等价关系是指满足如下条件的关系: 1)交换性,若a=b则b=a 2)传递性,若a=b,b=c则a=c 3)排他性,对任何a,b,a=b和a!=

数据蒋堂 | JOIN运算剖析

JOIN是SQL中用于多表关联的运算,无论从程序员编写还是数据库实现角度来看,JOIN都是SQL中最难的运算. 其实,SQL对JOIN的定义非常简单,就是对两个集合(表)做笛卡尔积后再按某种条件过滤,写出来的语法也就是A JOIN B ON ...的形式.原则上,笛卡尔积后的结果集应当是以两集合成员构成的二元组为成员,不过由于SQL中的集合成员总是有字段的记录,而且也不支持泛型数据类型来描述成员为记录的二元组,所以就简单地把结果集处理成由两表记录的字段合并后构成的新记录集合.这也是JOIN一词在

【数据蒋堂】第27期:非常规聚合

标准SQL中提供了五种最常用的聚合运算:SUM/COUNT/AVG/MIN/MAX.观察这几个运算,我们发现它们都可以看成是一个以集合为参数返回单值的函数,我们就先把这个共同点理解为聚合运算的定义,把集合变成单值,多个值变成一个值,也就是发生了"聚合",所以叫聚合运算. 那么很显然,有集合的时候就可以应用聚合运算了,所以SUM/COUNT这些运算可以针对一个数据表(记录集合)实施. 分组运算的结果是一批分组子集,那么每个子集上也可以应用聚合运算,这也就是SQL的分组运算了.其实针对全集

【数据蒋堂】第17期:SQL的困难源于关系代数

在结构化数据处理领域,SQL无疑是应用最广泛的工作语言,不仅被所有关系数据库采用,许多新进的大数据平台也将实现SQL作为目标.但现实是,面对当前纷杂的计算查询需求,SQL在很多方面并不够好用.我们在前面说过SQL的过程性问题,这其实并不是最关键的问题,SQL的更大困难来源于其理论基础,即关系代数. 关系代数是一种代数体系.我们无法在本文的篇幅中严格定义代数体系这个概念,只能通俗地解释.人们为解决某种运算问题,定义了一些数据对象及针对这些数据对象的一套运算规则,确保这些运算的封闭性和自洽性,就可以

数据蒋堂 | SQL的困难源于关系代数

在结构化数据处理领域,SQL无疑是应用最广泛的工作语言,不仅被所有关系数据库采用,许多新进的大数据平台也将实现SQL作为目标.但现实是,面对当前纷杂的计算查询需求,SQL在很多方面并不够好用.我们在前面说过SQL的过程性问题,这其实并不是最关键的问题,SQL的更大困难来源于其理论基础,即关系代数. 关系代数是一种代数体系.我们无法在本文的篇幅中严格定义代数体系这个概念,只能通俗地解释.人们为解决某种运算问题,定义了一些数据对象及针对这些数据对象的一套运算规则,确保这些运算的封闭性和自洽性,就可以

【数据蒋堂】功夫都在报表外--漫谈报表性能优化

应用系统中的报表,作为面向业务用户的窗口,其性能一直被高度关注.用户输入参数后都希望立即就能看到统计查询结果,等个十几二十秒还能接受,等到三五分钟的用户体验就非常恶劣了. 那么,报表为什么会慢,又应当从哪里入手进行性能调优呢? 数据准备 当前应用中的报表大都用报表工具开发,当报表响应太慢时,不明就里的用户就会把矛头指向使用报表工具的开发人员或者报表工具厂商.其实,大多数情况报表的慢只是个表现,背后的原因是数据准备太慢,在数据进入报表环节之前就已经慢了,这时再去优化报表开发或压迫报表工具并没有用处

【数据蒋堂】第28期:迭代聚合语法

我们讨论过的常规聚合运算如SUM/COUNT和非常规聚合运算如maxp/top,都是事先设计好的聚合函数.但如果我们想实现一个以前没有定义过的运算怎么办?是否可以用已有的语法和函数组合出来?比如想做连乘运算,显然这也算是一种聚合. 要设计这样的语法方案,我们来看看这些聚合结果值是如何被程序计算出来的. SUM:先设置一个初始值0,然后遍历集合的每个成员,每次将成员值加到初始值上,直到成员被遍历完.COUNT:设置初始值0,遍历集合成员,每次碰到非空成员将初始值加1,直到遍历完.AVERAGE:这