《中国人工智能学会通讯》——8.28 并行与分布式进化计算

8.28 并行与分布式进化计算

进 化 算 法(EA,Evolutionary Algorithm)是一类启发于自然界的智能优化算法,其包括启发于达尔文进化理论的遗传算法(GA,GeneticAlgorithm) [1-4] 、启发于鸟群行为的粒子群优化算法(PSO,Particle Swarm Optimization) [5-10] 、 启发于蚂蚁协作方式的蚁群算法(ACO,Ant ColonyOptimization) [11-13] 等。随后,研究者们相继研究出了新兴的进化算法,比如差分进化算法(DE,Differential Evolution)[14-17] 、分布估计算法(EDA,Estimation of Distribution Algorithms) [18-19] 。一般来说,进化计算具有鲁棒性强、全局寻优、能在可接受的时间内获得问题的近似最优解等优势,已被广泛应用于求解旅行商、背包、项目调度等 NP- 难优化问题[3,20-31] 。特别地,科学研究、工业生产等实际应用中存在着众多无法建立精确数学解析模型的优化问题,如企业决策管理[22] 、工业设计 [23]等,这类问题的优化目标往往仅能通过近似模型仿真或历史数据驱动等方式来进行评估,传统的优化方法难以应用。由于进化计算通过种群启发式迭代不断逼近问题的最优解,并不依赖于待解优化问题的数学模型和数学特性,已成为了解决这些不具备精确数学解析模型的复杂优化问题的重要途径。为了进一步满足应用需求,近年来学者们还分别提出了面向多峰优化(Multimodal Optimization) [13,19] 、多目标优化(Multi-/Many-objective Optimization)[32-33] 、约束优化(Constrained Optimization) [34-35] 和动态优化(Dynamic Optimization) [36-37] 的新型进化计算方法。

尽管进化算法研究近年来取得了迅猛发展,然而随着大数据时代的到来,高维度、高复杂度以及高实时性的优化问题日益出现,极大地挑战着当前进化算法的性能。特别地,对于大规模高维度优化问题,其解空间往往随着维度的增加呈指数式增长,使得进化算法的收敛速度变慢;解空间中的局部最优解的个数往往也随维度增加呈指数式增长,使进化算法非常容易陷入局部最优,出现早熟收敛现象[38-40] 。由于进化算法需要通过种群迭代进化的方式来逐渐寻优,且传统进化算法的研究一般采用串行实现方式,这导致算法在大规模优化中面临着严重的效率瓶颈。

一方面,在进化算法执行过程中,种群中个体的进化操作和适应值评估操作往往都具有一定的独立性,因此,进化算法本身就具备了高度的可并行性。若能在并行分布式计算环境中充分发挥进化计算的并行特性,将有助于突破算法在大规模优化中的效率瓶颈。近年来,学者们将并行与分布式计算引入进化算法,以此加速进化算法的执行效率[41-45] ,从而缩短进化算法的执行时间,极大地拓展了进化算法的应用领域[46-49] 。

另一方面,并行与分布式计算的一个重要问题是计算资源的调度和管理问题,其本质上可以归结为一个优化问题,利用进化算法将有助于实现并行分布式计算资源的调度优化,提升并行分布式计算的性能。并行与分布式计算的核心是通过大量计算资源的耦合和共享来提供强大的计算能力。由于并行计算资源具有异构性,计算任务的资源需求和服务质量要求具有差异性,如何将计算任务分配到合适的计算资源上,以达到最大化计算资源的利用率、最优化计算任务的服务质量等目标,将对并行分布式计算的性能有重要影响。特别是在当今流行的云计算、高性能计算等大规模、异构的并行分布式计算平台下,计算资源的管理和调度问题尤为突出。由于进化计算具有良好的全局搜索能力,在资源调度优化等问题上已呈现出良好的性能,可以通过资源调度、任务调度等方式辅助并行与分布式计算[20-21,29-30] ,以此进一步提高并行与分布式算法的执行效率,满足大规模计算应用的需求。

因此,从以上可以看出,并行与分布式算法和进化算法相辅相承,两者相互协作,以追求算法的高效执行,以及计算资源的高效利用。两者的相互结合衍生出了并行与分布式进化算法,为求解大规模、高复杂度、高实时性需求的优化问题提供了有效解决途径。

为了更好地了解并行与分布式进化计算,本文将从并行与分布式进化计算模型、并行与分布式进化分布方式以及并行与分布式进化计算实现方式三个层面详细阐述并行与分布式进化计算的研究现状;而后本文阐述并行与分布式进化算法在计算资源管理优化方面的应用,并结合现状推断并行与分布式进化计算的未来发展趋势。

时间: 2024-09-12 08:15:32

《中国人工智能学会通讯》——8.28 并行与分布式进化计算的相关文章

《中国人工智能学会通讯》——8.31 并行与分布式进化计算实现方式

8.31 并行与分布式进化计算实现方式 近年来,随着计算机技术的发展,各种分布式平台以及高性能平台逐渐兴起.如何将并行与分布式进化算法嵌入到这些平台,从而提升并行与分布式进化算法进性能,加快算法运行速度也成为学术界和工业界关心的热点.目前流行的并 行 与 分 布 式 算 法 实 现 方 式 有 MPI(MessagePassing Interface).Hadoop 和 GPU(GraphicsProcessing Unit). MPI MPI 1 开始于 1991 年,是一种跨语言的通讯协议,

《中国人工智能学会通讯》——8.29 并行与分布式进化计算模型

8.29 并行与分布式进化计算模型 并行与分布式进化计算最早可追溯至 1987 年Cohoon 等人提出的并行遗传算法(PGA,ParallelGA) [50-51] .早期的并行与分布式进化算法在每个计算核心上部署一个小种群,而后各个计算核心之间相互通信,共同协作寻找问题的最优解.因此,可以看出并行与分布式进化算法的执行效率往往取决于计算核心上每个种群的进化时间,以及计算核心之间的通信时间.虽然并行与分布式进化算法的运行时间大部分取决于前一部分,但是如果并行模型设计不合理,往往会导致进程之间产

中国人工智能学会通讯——无智能,不驾驶——面向未来的智能驾驶时代 ( 下 )

到目前为止似乎比较完美,而实际还 存在着一些问题.我们现在看到很多道 路上面,交通标志牌它的分布非常稀疏, 可能每过一两公里才能够检测出来一个 交通标志牌,因为毕竟这个深度学习算 法是目前最完美的,它有时候还会错过 一个交通标志牌,这时候怎么办呢?我 们会发现在路面上也有非常明显的视觉 特征,我只要把路面的这些视觉特征识 别出来进行匹配,其实是有连续的绝对 的视觉参考的.所以我们做的办法是, 把这个路面粘贴起来.这个粘贴的方法 很简单,跟我们手机拍场景图片一样, 我们慢慢移动的时候可以把这个场景

中国人工智能学会通讯——深度学习与视觉计算 1.3 计算机视觉领域利用深度学习可能带来的未来研究方向

1.3 计算机视觉领域利用深度学习可能带来的未来研究方向 第一个,深度图像分析.目前基于深度 学习的图像算法在实验数据库上效果还是 不错的,但是远远不能够满足实际大规模 应用需求,需要进一步的提升算法性能从 而能够转化相应的实际应用.比如这个基 于图片的应用,可以估计性别和年龄,但 是其实经常会犯错,因此需要进一步提升 深度图像分析的性能. 第二个,深度视频分析.视频分析牵扯 到大量的数据和计算量,所以做起来更加 麻烦.当前深度视频分析还处于起步的阶 段,然而视频应用非常广泛,比如人机交互. 智

中国人工智能学会通讯——混合智能概念与新进展

脑科学以阐明脑的工作原理为目标,近年来已成为最重要的科学前沿领域之一.脑功能计算.脑智能模仿再度成为学术界和产业界热议话题[1-4].欧盟.美国.日本相继启动了大型脑研究计划,强有力推动了人们对脑结构.脑功能和脑智能的探索和认识:另一方面,人工智能研究风起云涌,最近一个标志性事件是谷歌的AlphaGo以4:1战胜围棋世界冠军李世石[5],实现了围棋人工智能领域史无前例的突破.2016年9月斯坦福大学发布了<2030年的人工智能与生活>报告[6],全面评估了当前人工智能的进展.挑战.机遇与展望.

中国人工智能学会通讯——机器学习里的贝叶斯基本理论、模型和算法

非常感 谢周老师给这个机会让我跟大家分享一下.我今天想和大家分享的是,在深度学习或者大数据环境下我们怎么去看待相对来说比较传统的一类方法--贝叶斯方法.它是在机器学习和人工智能里比较经典的方法. 类似的报告我之前在CCF ADL讲过,包括去年暑假周老师做学术主任在广州有过一次报告,大家如果想看相关的工作,我们写了一篇文章,正好我今天讲的大部分思想在这个文章里面有一个更系统的讲述,大家可以下去找这篇文章读. 这次分享主要包括三个部分: 第一部分:基本理论.模型和算法 贝叶斯方法基础 正则化贝叶斯推

中国人工智能学会通讯——深蓝、沃森与AlphaGo

在 2016 年 3 月 份,正当李 世石与AlphaGo 进行人机大战的时候,我曾经写过 一 篇< 人 工 智 能 的 里 程 碑: 从 深 蓝 到AlphaGo>,自从 1997 年深蓝战胜卡斯帕罗夫之后,随着计算机硬件水平的提高,计算机象棋(包括国际象棋和中国象棋)水平有了很大的提高,达到了可以战胜人类最高棋手的水平.但是,长期以来,在计算机围棋上进展却十分缓慢,在 2006 年引入了蒙特卡洛树搜索方法之后,也只能达到业余 5 段的水平.所以 AlphaGo 战胜韩国棋手李世石,确实是人

中国人工智能学会通讯——智创未来 未来已来

2016 年带着我们难忘的记忆,就这样翻篇了.由我们学会发起.全国多个组织积极参与的.纪念全球人工智能 60 年的一个个系列活动历历在目,在我们身边发生的种种无人驾驶的比赛和试验活动还在让我们激动不已,AlphaGo 战胜人类围棋冠军李世石的震荡被 Master 的新战绩推向又一个新高潮,时间就这样把我们带入了新的一年--2017 年. 对 2017 年的人工智能,我们会有什么期待呢? 深度学习会火 无人驾驶会火 机器人产业会火 机器同传会火 人机博弈会火 交互认知会火 不确定性人工智能会火 智

中国人工智能学会通讯——着力突破与创新 实现超越与引领

提 要 2016年3月,围棋人机大战的结果,在舆论界激起了惊涛骇浪:在科技界也引起了强烈反响.为了把握人工智能的发展现状和规律,探讨我国人工智能的发展战略,在中国人工智能学会和众多人工智能同行的支持下,由本文作者出面申请了一次高层战略研讨会,这就是以"发展人工智能,引领科技创新"为主题的香山科学会议.与会者同气相求.同心协力,站在国家战略的高度,以纵览全球的视野,通过深入的研讨和论证,凝聚了诸多宝贵的共识,形成了直送中央的<关于加快发展我国人工智能的专家建议>.本文简要介绍