《算法设计与分析》一一2.3 “分治递归”求解

2.3 “分治递归”求解

递归是一种基本的算法设计方法,而递归算法的代价往往可以用递归方程来描述,因而解递归方程就成为递归算法分析的重要技术。分治策略(divide and conquer)是一种简单而有效的算法设计策略(详见第三部分各章节的讨论),源自于分治算法分析的一类特定形式的递归方程我们称之为“分治递归”(divide and conquer recursion)。本节着重讨论“分治递归”的求解方法。
2.3.1 替换法
有一种“大胆假设,小心求证”的方法可以帮助我们解“分治递归”。其核心原理是,如果能够猜测递归式的一个解,我们往往可以采用所谓替换法(substitution method)来较容易地证明它。替换法的本质是数学归纳法,只不过针对解递归的特定场合我们做了一些形式上的设定。我们通过一个具体的例子来展示替换法的证明过程。
对于递归式T(n)=2T(n/2)+n,我们猜测T(n)=O(n log n)。为了证明这一结论,我们将渐近记号转换为更容易处理的不等式形式。要证明T(n)=O(n log n)也就是要证明对于某个常数c>0,T(n)≤cn log n成立。按照数学归纳法,假设对于小于n的参数情况,这一不等式对于某个选定的常数c已经成立,下面来看参数为n的情况。基于归纳假设,我们有T(n/2)≤c・n/2・log(n/2),所以:T(n)=2T(n/2)+n
≤2c・n/2・log(n/2)+n
=cn log n-cn+n
≤cn log n(c≥1)严格来讲,数学归纳法还要求验证基础情况下要证明的结论也是成立的。但是对于n=1的基础情况,T(1)≤1 log 1并不成立。考虑渐近增长率的定义,我们只需要对于某个n0,证明对于n>n0,T(n)≤n log n即可。容易验证,对于n0=2,只需取c为任意充分大的常数,基础情况同样成立。
需要强调的是,在使用替换法的过程中,要证明的不等式必须形式上与归纳假设的不等式完全一样。对于上面的例子,我们的归纳假设是T(n)≤cn log n,则对n/2的情况使用归纳假设时,以及证明T(n)所满足的不等式时,我们均必须严格使用T(n)≤cn log n这一不等式,仅参数n可以作替换。
2.3.2 分治递归与递归树
分治算法的形式一般是将原始问题分解为若干小问题,每个小问题递归求解,再将小问题的解合并成原始问题的解。根据这一过程,分治递归具有如下形式:T(n)= a 划分为a个子问题Tnb划分后的子问题规模为原来的1/b+f(n)子问题划分与合并的代价其中,称f(n)为非递归代价(non-recursive cost)。“分治递归”的求解并不需要特殊的技巧,只需要将递归式逐步展开至基础情况,然后逐项把所有代价累加起来即可。只不过递归的层层展开会产生大量的中间结果,我们需要一个有力的工具清晰地整理、统计递归展开过程中所有的代价。这一工具就是下面介绍的递归树(recursion tree),如图2.2所示。
图2.2 T(n)=aTnb+f(n)的递归树
递归树的每个节点记录着递归的代价。我们仅记录非递归代价,这是因为仅非递归代价需要统计,递归代价被展开后记入下层子问题的代价。父节点到子节点的边表示递归求解的过程,递归树最底层的叶节点对应于递归的基础情况,它们的代价为O(1)。
递归树的第k层(所有深度为k的节点)对应于k次展开之后的递归式。例如,第0层就是未展开的原始递归式;第1层是递归式展开1次的情况,问题规模降到nb,总共有a 个子问题;第2层是递归式展开2次的情况,问题规模降到nb2,总共有a2个子问题;以此类推直至展开到最底层的叶节点对应于递归式的基础情况。根据递归式的展开方式,我们可以计算出递归树的高度为logbn,底层叶节点的个数为alogbn=nlogba。
2.3.3 Master定理
经过上面的准备,我们已经利用递归树这一工具,将递归式完全展开至基础情况。下面只需要基于递归树将所有代价求和即可解递归。我们以逐层求和(sum of row-sums)的方式来计算递归的代价。我们首先按照递归展开的规律计算每一层的和,这样每一层的和就组成一个logbn项的级数;然后再对每层的和组成的级数进行求和。
如果递归树每层的代价数列是一个等比级数,基于前面对于等比数列的分析(详见2.1.4节),以及函数渐近增长率的性质,我们可以得出递归树总代价的渐近增长率。具体而言,按照等比级数的公比大于1、等于1、小于1这3种情况,递归树总代价的渐近增长率也分3种情况。
●如果数列公比大于1(以根节点为第1项,叶节点为最后一项),则递归树的总代价就等于叶节点这一层的总代价,为alogbn=nlogba。
●如果数列公比等于1,则每一行的代价均为f(n)=nlogba,数列共有log n项,则递归树的总代价为nlogbalog n。
●如果数列公比小于1,则递归树的总代价等于根节点这一层的代价,为f(n)。
由于我们已经知道数列的第一项为f(n),最后一项为nlogba,所以只需要比较这两个函数的渐近增长率,则可以判断该等比数列的公比是上述哪种情况。基于上述分析,我们得出求解一般形式的“分治递归”的Master定理。
定理2.2 (Master定理) 令a、b为常数,且a≥1和b>1,f(n)为一定义于非负整数上的函数。T(n)为定义于非负整数上的递归函数:T(n)=aTnb+f(n)递归式中的nb指的是nb或者nb。
1) 如果存在某个常数ε>0,使得f(n)=O(nlogba-ε),则T(n)=Θ(nlogba)。
2) 如果f(n)=Θ(nlogba),则T(n)=Θ(nlogbalog n)。
3) 如果存在常数ε>0,使得f(n)=Ω(nlogba+ε),且存在某个常数c(c<1),使得对所有充分大的n,afnb≤cf(n),则T(n)=Θ(f(n))。
上述关于Master定理的讨论主要介绍了Master定理证明的基本原理,略去了其严格证明。Master定理的详细证明参见文献[1,2,3]。
在使用Master定理的过程中,我们需要注意nlogba和nlogba-ε的差别,无论常数ε取多小。例如,对于递归式:T(n)=2Tn2+n log n容易计算nlogba=n,则f(n)=n log n=Ω(nlogba)。但是仔细对照Master定理的要求我们发现,对于任意常数ε,n log n=Ω(n1+ε)均不成立。实际上对于任意常数ε我们有n log n=o(n1+ε)。所以这一递归式并不符合Master定理的第三种情况。深入辨析nlogba和nlogba-ε的差别使我们意识到Master定理的3种情况之间,还有很多情况未被覆盖。考察Master定理未能覆盖的情况对理解Master定理本身是很有帮助的,这一问题留作习题。

时间: 2024-10-02 01:19:03

《算法设计与分析》一一2.3 “分治递归”求解的相关文章

《算法设计与分析》一一导读

前言 算法是计算的灵魂(spirit of computing),而算法设计与分析的基础知识是计算机科学的基石.算法设计与分析的知识内容很丰富,可以从不同视角进行组织与阐述.一种视角是关注经典的算法问题,如排序.选择.查找.图遍历等:另一种视角是关注经典的算法设计策略,包括分治.贪心.动态规划等.本书的组织兼顾问题与策略两种视角.首先按照经典的算法设计策略,将书中的主体内容分为遍历.分治.贪心.动态规划4个部分.其次在每个部分之内,又围绕经典的算法问题来阐述该部分所着重讨论的策略. 本书集中讨论

《算法设计与分析》一一第3章 线性表的遍历

第3章 线性表的遍历 线性表是一种简单又广泛使用的数据结构.线性表中所有的元素组成线性序列.除头尾之外的每个元素都有唯一的前驱和后继:头元素只有后继,没有前驱,而尾元素只有前驱,没有后继.线性表的特征决定了我们很容易从头至尾依次扫描其中的每一个元素,而这一简单的遍历过程可以解决很多重要的算法问题. 线性表的遍历是在算法的简单性与高效性之间的一种权衡.基于线性表遍历的算法往往原理简单.易于实现和维护:但是其效率往往较低,有较大的提升空间.以线性表遍历为基础,我们可以进行更复杂的算法设计,例如,以遍

《算法设计与分析》一一2.1 数学运算背后的算法操作

2.1 数学运算背后的算法操作 虽然我们已经熟知很多数学概念与性质,但是从算法设计与分析的角度来看,还需要进一步将这些数学的概念与算法的运作联系起来.下面就从这一角度来讨论几组算法设计与分析中常用的数学概念与性质.2.1.1 取整x和x 我们熟知取整函数的定义:下取整函数x表示不超过x的最大整数:上取整函数x表示不小于x的最小整数.需要取整函数的本质原因在于算法分析中涉及的一些量往往是某种离散对象的个数,它必然是正整数.例如,算法的代价是关键操作的个数,问题的规模经常表示为输入元素的个数.输入数

《算法设计与分析》一一第2章 从算法的视角重新审视数学的概念

第2章 从算法的视角重新审视数学的概念 CHAPTER 2 第2章 从算法的视角重新审视数学的概念根据我们在第1章中对抽象算法设计与分析的讨论,算法的本质是预先给定的一组指令的排列组合:而算法分析是对指令的执行和存储单元的使用等离散现象的计数.源于算法的这一本质属性,我们需要熟练掌握相应的数学知识为抽象算法设计与分析服务.这些数学知识往往是我们已经学习过的,现在的重点是要从抽象算法设计与分析的角度来重新审视它们.本章首先讨论算法设计与分析中常用的数学对象与数学性质.其次,为了进一步讨论算法代价的

屈婉玲-算法设计与分析课后习题答案

问题描述 算法设计与分析课后习题答案 需要算法设计与分析屈婉玲课后习题答案,希望哪位大神帮帮忙!大恩不言谢 解决方案 算法设计与分析课后习题3.2算法设计与分析课后习题3.5数据结构与算法分析课后习题第四章(1) 解决方案二: http://download.csdn.net/download/xiaomashengjie/6828333 不谢~

动态规划法求文本串的最优分行问题河海大学考博计算机算法设计与分析真题着急求解中

问题描述 动态规划法求文本串的最优分行问题河海大学考博计算机算法设计与分析真题着急求解中 列表并至少给出4步典型过程,求文本串"Do you like those people who always think of money and cannot remember the past."在列宽为15,惩罚函数为行空余空间的平方(最后一行不计惩罚)时的最优分行方案.不需要给出具体的实现代码.用动态规划算法给出列表

概率-算法设计与分析基础》书上看到的一道练习题

问题描述 算法设计与分析基础>书上看到的一道练习题 2C 丢失的袜子:假设在洗了5双各不相同的袜子以后,你发现有两只袜子不见了且每只袜子丢失的概率都相同,请找出最佳情况(留下四双完整袜子)的发生概率和最差情况(留下三双完整袜子)的发生概率以及平均情况下的概率. 解决方案 最佳情况发生的概率: C(51)/C(210) = 1/9最差情况发生的概率: 1 - 1/9 = 8/9 (因为非4即3),即:1-C(51)/C(102).顶多丢2双.期望: 4×(1/9)+ 3×(8/9) = 28/9

算法设计与分析 (希望答案能具体点)

问题描述 算法设计与分析 (希望答案能具体点) 设S1S2..Sk是整数集合每个集合Si(1<=i<=k)中整数取值范围是1到n且(求和 符号)|Si|=n试设计一个算法在O(n)时间内将S1S2..Sn分别排序.答案说用桶排序或者基数排序,有大神能快点解决么 解决方案 就用基数排序好了int sort(int * data int n){ int temp[k + 1]; for (int i = 1; i <=k; i++) temp[i] = 0; for (int i = 0;

《算法设计与分析》一一1.2 抽象算法设计

1.2 抽象算法设计 算法设计源于我们面临一个有待解决的算法问题.为此,我们首先讨论算法问题的严格定义,其次讨论算法设计,主要讨论证明算法正确性的基本方法.1.2.1 算法问题规约 基于RAM模型,我们主要讨论这样的算法:它接受有限的数据作为输入,进行相应的处理,在有限步内终止,并给出输出.因此我们可以将算法问题严格地定义为精确限定输入/输出的"规约"(specification)形式. 定义1.1(算法问题规约) 一个算法问题的规约主要包括两部分: ●输入:明确规定了算法接受的所有合