数据蒋堂 | 非等值分组

我们在上一期研究了分组运算的实质,即将一个集合按某种规则拆分成若干子集。不过,上期的关注重点在于还原分组运算的步骤,而没有讨论拆分规则,例子中都是用某些字段(或表达式)来定义拆分规则,也就是SQL中使用的方法。

我们把这种拆分方式称为等值分组。

等值分组在数学上的描述,相当于在一个集合上定义了一个等价关系:分组字段(表达式)相等的成员(记录)就认为等价。

等价关系是指满足如下条件的关系:

1)交换性,若a=b则b=a
2)传递性,若a=b,b=c则a=c
3)排他性,对任何a,b,a=b和a!=b有且只有一个成立

可以证明,任何等价关系一定能把原集合完全划分成若干个子集,每个子集中的成员互相等价。

完全划分具有这样的性质:

1)没有空子集
2)原集合的任何成员都属于且只属于某一个子集

考查等值分组,我们会发现它能够精确地满足等价关系的定义,因而等值分组的结果一定是完全划分。

有等值分组和完全划分,那是不是还有非等值分组和不完全划分?还有没有别的方式产生完全划分?这些是否有业务意义呢?

答案是肯定的。

比如我们要统计男女员工数量。我们可以写成这样:
SELECT gender,COUNT(*) FROM employee GROUP BY gender
但如果公司员工全是男性或女性,这个运算结果就只有一行了,那可能就不是我们想要的结果了。

为解决这个问题,我们可以设计这样一种分组方案:先罗列出一个基准集合,然后将待分组集合成员的某个属性(字段或表达式)与基准集合成员比较,相同者则分到一个子集中,最后拆分出来的子集数量和基准集合成员数是相同的,这种分组我们称为对位分组。

使用对位分组统计男女员工数量可以写成这样:
a=[男,女]                                       // 基准集合
g=employee.align(a,gender)    // 设计函数align实现对位分组,拆分集合
g.new(a(#),~.len())                   // 用分组子集计算汇总
可以想象,这种对位分组在日常统计中是很常见的,比如按地区、按部门统计,都可以事先把基准集合列出来,而且我们经常还要求结果集必须按基准集合的次序出现。但等值分组不能保证这个次序,还要再排序(排序时还是要提供这个基准集合,原集合成员属性中没有这个信息)。

对位分组可能出现空子集,它也不能保证任何原集合的成员都被拆到某个子集中(比如有些不重要的成员没有被列入基准集合),不过对位分组能保证每个成员最多只出现在一个子集中。

我们还能把对位分组推广成更一般的枚举分组。

枚举分组是指,事先指定一组条件,然后将待分组集合的成员作为参数计算这批条件,条件成立者都被划分到与该条件对应的一个子集中,结果集的子集和事先指定的条件一一对应。

比如,将员工按年龄段分组统计人数:
a=[?<=30,?<=40,?>40]         // 用?表示要代入的参数
g=employee.enum(a,age)    // 设计函数enum实现枚举分组,拆分集合
....
显然,枚举分组在日常业务中也是不少见的。

枚举分组和对位分组很像,都需要先列出一个基准集合,事实上,对位分组就是一种特殊的枚举分组。不过,不同的是,枚举分组可能制造出有重复成员的子集,也就是可重分组。
a=[?<=30,?>20 && ?<=40,?>50]      // 条件有重叠
g=employee.enum(a,age)
可重分组在实际业务中相对罕见一些,不过了解一下也有助于再次理解分组运算的实质。

表面上看,对位分组和枚举分组和SQL的GROUP BY差别很大,但理解了分组运算的本质后就会明白它们其实是一回事:把某个集合拆分成若干子集。只是它们拆分的方法各有不同。

还有其它不完全依赖于成员属性的分组方式,但仍然是一种“把集合拆成子集”的方法,我们在后续文章会再提及。

还有一个问题,SQL只提供了等值分组,那会不会不够用呢?用SQL又是如何解决对位分组和枚举分组问题的?

其实SQL的运算能力是完备的,上述两种非等值分组都可以转换成等值分组,但就是会麻烦一些。

对于对位分组,可以用基准集合和待分组集合做LEFT JOIN,对这个结果集再做GROUP BY就可以得到相同的效果。注意一定要用LEFT JOIN,用JOIN可能会失去空子集,用FULL JOIN又会多出基准集合之外的成员。枚举分组也是类似,但语句会更复杂些,要根据枚举条件去设计JOIN的条件,一般难以给出通用写法。

清华大学计算机硕士,著有《非线性报表模型原理》等,1989年,中国首个国际奥林匹克数学竞赛团体冠军成员,个人金牌;2000年,创立润乾公司;2004年,首次在润乾报表中提出非线性报表模型,完美解决了中国式复杂报表制表难题,目前该模型已经成为报表行业的标准;2014年,经过7年开发,润乾软件发布不依赖关系代数模型的计算引擎——集算器,有效地提高了复杂结构化大数据计算的开发和运算效率;2015年,润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”;2016年,荣获中国电子信息产业发展研究院评选的“2016年中国软件和信息服务业十大领军人物”;2017年, 自主创新研发新一代的数据仓库、云数据库等产品即将面世。

《数据蒋堂》的作者蒋步星,从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞,虚拟与现实的相互交织,产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点,站在研发人员的角度从浅入深,进行全方位、360度无死角深度剖析;对于一些业内观点,站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展,站在业内专家角度给予预测和推断。静下心来认真研读你会发现,《数据蒋堂》的文章,有的会让用户避免重复前人走过的弯路,有的会让攻城狮面对扎心的难题茅塞顿开,有的会为初入行业的读者提供一把开启数据世界的钥匙,有的甚至会让业内专家大跌眼镜,产生思想交锋。

时间: 2024-09-20 22:53:24

数据蒋堂 | 非等值分组的相关文章

数据蒋堂 | 有序分组

我们知道,SQL延用了数学上的无序集合概念,所以SQL的分组并不关注过待分组集合中成员的次序.我们在前面讨论过的等值分组和非等值分组,也都没有关注过这个问题,分组规则都是建立在本身的成员取值本身上.但如果我们要拓展SQL,以有序集合为考虑对象时,那就必须考虑成员次序对分组的影响了,而且,现实业务中有大量的有序分组应用场景. 一个简单的例子:将一个班的学生平均分成三份(假定人数能被3整除).按我们在前面所说的分组定义,这也可以看成是一种分组,但这个运算在SQL中却很难写出来,因为分组依据和成员取值

数据蒋堂 | 还原分组运算的本意

分组是SQL中常见的运算,但未必所有人都能深刻地理解它. 分组运算的实质是将一个集合按照某种规则拆分成若干个子集,也就是说,返回值应当是一个由集合构成的集合,但人们一般不太关心构成这个集合的成员集合(我们称为分组子集),而是对这些子集的聚合值更感兴趣,因此,分组运算常常伴随着对子集的进一步汇总计算. SQL就是这么做的,在写有GROUP BY子句时,SELECT部分除了分组字段外,就只能写入聚合运算表达式了.当然还有个原因是SQL没有显式的集合数据类型,无法返回集合的集合这类数据,也只能强迫实施

【数据蒋堂】非结构化数据分析是忽悠?

大数据概念兴起的同时也带热了非结构化数据分析.传说一个企业中80%的数据都是非结构化数据,如果按占据空间来算,这个比例大体不假,毕竟音视频这类数据真地很大.有这么大的数据量,需要进行分析是很自然的事了,而要分析当然就要有相应的技术手段了. 那为什么说非结构化数据分析技术是忽悠呢? 不存在通用的非结构化数据计算技术 非结构化数据五花八门,有声音图像.文本网页.办公文档.设备日志.....:每类数据的都有各自的计算处理手段,比如语音识别.图像比对.文本搜索.图结构计算等等,但是并不存在一种适用于所有

【数据蒋堂】第27期:非常规聚合

标准SQL中提供了五种最常用的聚合运算:SUM/COUNT/AVG/MIN/MAX.观察这几个运算,我们发现它们都可以看成是一个以集合为参数返回单值的函数,我们就先把这个共同点理解为聚合运算的定义,把集合变成单值,多个值变成一个值,也就是发生了"聚合",所以叫聚合运算. 那么很显然,有集合的时候就可以应用聚合运算了,所以SUM/COUNT这些运算可以针对一个数据表(记录集合)实施. 分组运算的结果是一批分组子集,那么每个子集上也可以应用聚合运算,这也就是SQL的分组运算了.其实针对全集

【数据蒋堂】功夫都在报表外--漫谈报表性能优化

应用系统中的报表,作为面向业务用户的窗口,其性能一直被高度关注.用户输入参数后都希望立即就能看到统计查询结果,等个十几二十秒还能接受,等到三五分钟的用户体验就非常恶劣了. 那么,报表为什么会慢,又应当从哪里入手进行性能调优呢? 数据准备 当前应用中的报表大都用报表工具开发,当报表响应太慢时,不明就里的用户就会把矛头指向使用报表工具的开发人员或者报表工具厂商.其实,大多数情况报表的慢只是个表现,背后的原因是数据准备太慢,在数据进入报表环节之前就已经慢了,这时再去优化报表开发或压迫报表工具并没有用处

【数据蒋堂】第28期:迭代聚合语法

我们讨论过的常规聚合运算如SUM/COUNT和非常规聚合运算如maxp/top,都是事先设计好的聚合函数.但如果我们想实现一个以前没有定义过的运算怎么办?是否可以用已有的语法和函数组合出来?比如想做连乘运算,显然这也算是一种聚合. 要设计这样的语法方案,我们来看看这些聚合结果值是如何被程序计算出来的. SUM:先设置一个初始值0,然后遍历集合的每个成员,每次将成员值加到初始值上,直到成员被遍历完.COUNT:设置初始值0,遍历集合成员,每次碰到非空成员将初始值加1,直到遍历完.AVERAGE:这

数据蒋堂 | JOIN运算剖析

JOIN是SQL中用于多表关联的运算,无论从程序员编写还是数据库实现角度来看,JOIN都是SQL中最难的运算. 其实,SQL对JOIN的定义非常简单,就是对两个集合(表)做笛卡尔积后再按某种条件过滤,写出来的语法也就是A JOIN B ON ...的形式.原则上,笛卡尔积后的结果集应当是以两集合成员构成的二元组为成员,不过由于SQL中的集合成员总是有字段的记录,而且也不支持泛型数据类型来描述成员为记录的二元组,所以就简单地把结果集处理成由两表记录的字段合并后构成的新记录集合.这也是JOIN一词在

【数据蒋堂】第3期:功夫都在报表外-漫谈报表性能优化

应用系统中的报表,作为面向业务用户的窗口,其性能一直被高度关注.用户输入参数后都希望立即就能看到统计查询结果,等个十几二十秒还能接受,等到三五分钟的用户体验就非常恶劣了. 那么,报表为什么会慢,又应当从哪里入手进行性能调优呢? 数据准备 当前应用中的报表大都用报表工具开发,当报表响应太慢时,不明就里的用户就会把矛头指向使用报表工具的开发人员或者报表工具厂商.其实,大多数情况报表的慢只是个表现,背后的原因是数据准备太慢,在数据进入报表环节之前就已经慢了,这时再去优化报表开发或压迫报表工具并没有用处

【数据蒋堂】1T数据到底有多大?

一英里不是个很长的距离,一立方英里相对于地球也不会让人觉得是个很大的空间.然后我说,这个空间内能装下全世界所有人,你会不会觉到很惊讶?不过这话不是我说的,是美国作家房龙在一本书里写的. 业内有个著名的数据仓库产品,叫Teradata,20多年前起这个名字,显然是想给人能处理海量数据的感觉.可现在,论用户还是厂商,谈论数据量时都常常以T为单位了,动不动就有几十上百T甚至PB级的数据.似乎T不是个多大的数,多几个几十个T也没什么大不了的. 其实T有点像上面说的立方英里,是个挺大的数.很多人对它没有多