2.3 “分治递归”求解
递归是一种基本的算法设计方法,而递归算法的代价往往可以用递归方程来描述,因而解递归方程就成为递归算法分析的重要技术。分治策略(divide and conquer)是一种简单而有效的算法设计策略(详见第三部分各章节的讨论),源自于分治算法分析的一类特定形式的递归方程我们称之为“分治递归”(divide and conquer recursion)。本节着重讨论“分治递归”的求解方法。
2.3.1 替换法
有一种“大胆假设,小心求证”的方法可以帮助我们解“分治递归”。其核心原理是,如果能够猜测递归式的一个解,我们往往可以采用所谓替换法(substitution method)来较容易地证明它。替换法的本质是数学归纳法,只不过针对解递归的特定场合我们做了一些形式上的设定。我们通过一个具体的例子来展示替换法的证明过程。
对于递归式T(n)=2T(n/2)+n,我们猜测T(n)=O(n log n)。为了证明这一结论,我们将渐近记号转换为更容易处理的不等式形式。要证明T(n)=O(n log n)也就是要证明对于某个常数c>0,T(n)≤cn log n成立。按照数学归纳法,假设对于小于n的参数情况,这一不等式对于某个选定的常数c已经成立,下面来看参数为n的情况。基于归纳假设,我们有T(n/2)≤c・n/2・log(n/2),所以:T(n)=2T(n/2)+n
≤2c・n/2・log(n/2)+n
=cn log n-cn+n
≤cn log n(c≥1)严格来讲,数学归纳法还要求验证基础情况下要证明的结论也是成立的。但是对于n=1的基础情况,T(1)≤1 log 1并不成立。考虑渐近增长率的定义,我们只需要对于某个n0,证明对于n>n0,T(n)≤n log n即可。容易验证,对于n0=2,只需取c为任意充分大的常数,基础情况同样成立。
需要强调的是,在使用替换法的过程中,要证明的不等式必须形式上与归纳假设的不等式完全一样。对于上面的例子,我们的归纳假设是T(n)≤cn log n,则对n/2的情况使用归纳假设时,以及证明T(n)所满足的不等式时,我们均必须严格使用T(n)≤cn log n这一不等式,仅参数n可以作替换。
2.3.2 分治递归与递归树
分治算法的形式一般是将原始问题分解为若干小问题,每个小问题递归求解,再将小问题的解合并成原始问题的解。根据这一过程,分治递归具有如下形式:T(n)= a 划分为a个子问题Tnb划分后的子问题规模为原来的1/b+f(n)子问题划分与合并的代价其中,称f(n)为非递归代价(non-recursive cost)。“分治递归”的求解并不需要特殊的技巧,只需要将递归式逐步展开至基础情况,然后逐项把所有代价累加起来即可。只不过递归的层层展开会产生大量的中间结果,我们需要一个有力的工具清晰地整理、统计递归展开过程中所有的代价。这一工具就是下面介绍的递归树(recursion tree),如图2.2所示。
图2.2 T(n)=aTnb+f(n)的递归树
递归树的每个节点记录着递归的代价。我们仅记录非递归代价,这是因为仅非递归代价需要统计,递归代价被展开后记入下层子问题的代价。父节点到子节点的边表示递归求解的过程,递归树最底层的叶节点对应于递归的基础情况,它们的代价为O(1)。
递归树的第k层(所有深度为k的节点)对应于k次展开之后的递归式。例如,第0层就是未展开的原始递归式;第1层是递归式展开1次的情况,问题规模降到nb,总共有a 个子问题;第2层是递归式展开2次的情况,问题规模降到nb2,总共有a2个子问题;以此类推直至展开到最底层的叶节点对应于递归式的基础情况。根据递归式的展开方式,我们可以计算出递归树的高度为logbn,底层叶节点的个数为alogbn=nlogba。
2.3.3 Master定理
经过上面的准备,我们已经利用递归树这一工具,将递归式完全展开至基础情况。下面只需要基于递归树将所有代价求和即可解递归。我们以逐层求和(sum of row-sums)的方式来计算递归的代价。我们首先按照递归展开的规律计算每一层的和,这样每一层的和就组成一个logbn项的级数;然后再对每层的和组成的级数进行求和。
如果递归树每层的代价数列是一个等比级数,基于前面对于等比数列的分析(详见2.1.4节),以及函数渐近增长率的性质,我们可以得出递归树总代价的渐近增长率。具体而言,按照等比级数的公比大于1、等于1、小于1这3种情况,递归树总代价的渐近增长率也分3种情况。
●如果数列公比大于1(以根节点为第1项,叶节点为最后一项),则递归树的总代价就等于叶节点这一层的总代价,为alogbn=nlogba。
●如果数列公比等于1,则每一行的代价均为f(n)=nlogba,数列共有log n项,则递归树的总代价为nlogbalog n。
●如果数列公比小于1,则递归树的总代价等于根节点这一层的代价,为f(n)。
由于我们已经知道数列的第一项为f(n),最后一项为nlogba,所以只需要比较这两个函数的渐近增长率,则可以判断该等比数列的公比是上述哪种情况。基于上述分析,我们得出求解一般形式的“分治递归”的Master定理。
定理2.2 (Master定理) 令a、b为常数,且a≥1和b>1,f(n)为一定义于非负整数上的函数。T(n)为定义于非负整数上的递归函数:T(n)=aTnb+f(n)递归式中的nb指的是nb或者nb。
1) 如果存在某个常数ε>0,使得f(n)=O(nlogba-ε),则T(n)=Θ(nlogba)。
2) 如果f(n)=Θ(nlogba),则T(n)=Θ(nlogbalog n)。
3) 如果存在常数ε>0,使得f(n)=Ω(nlogba+ε),且存在某个常数c(c<1),使得对所有充分大的n,afnb≤cf(n),则T(n)=Θ(f(n))。
上述关于Master定理的讨论主要介绍了Master定理证明的基本原理,略去了其严格证明。Master定理的详细证明参见文献[1,2,3]。
在使用Master定理的过程中,我们需要注意nlogba和nlogba-ε的差别,无论常数ε取多小。例如,对于递归式:T(n)=2Tn2+n log n容易计算nlogba=n,则f(n)=n log n=Ω(nlogba)。但是仔细对照Master定理的要求我们发现,对于任意常数ε,n log n=Ω(n1+ε)均不成立。实际上对于任意常数ε我们有n log n=o(n1+ε)。所以这一递归式并不符合Master定理的第三种情况。深入辨析nlogba和nlogba-ε的差别使我们意识到Master定理的3种情况之间,还有很多情况未被覆盖。考察Master定理未能覆盖的情况对理解Master定理本身是很有帮助的,这一问题留作习题。