迁移学习——机器学习的下一个前沿阵地

我们越来越善于训练深度神经网络,从大量的标记数据中学习到从输入到输出的非常准确的映射,无论它们是图像,句子,标签预测等。

但,我们的模型所缺乏的是能够概括出不同于训练过程中遇到的情况。当你将模型应用于精心构建的数据集,它表现的总是不错。但,现实世界是混乱的,包含无数的新情景,其中许多是你的模型在训练期间没有遇到过的。将知识迁移到新情景的能力通常被称为迁移学习,这是我们将在本文的其余部分讨论的内容。

在本篇博文中,我将首先将转换学习与机器学习的最普遍和成功的范例 - 监督式学习进行对比。随后,我会给出一个更具技术性的定义和详细的不同迁移学习场景。然后,我将提供迁移学习的应用实例,然后深入研究可用于传授知识的实用方法。最后,我将对相关的方向进行概述,并提出展望未来。

什么是迁移学习?

在机器学习的监督学习场景中,如果我们打算为某个任务和领域A训练一个模型,我们假设我们为相同的任务和域提供了标签数据。我们可以在图1中清楚地看到这一点,其中我们模型A和B的训练和测试数据的任务和领域是一样的。让我们假设一个任务是我们的模型旨在执行的目标,例如识别图像中的对象,一个域是我们的数据来自旧金山咖啡店拍摄的图像。

传统的方法是我们要分别训练模型A和B,这势必会造成大量的资源和时间上的浪费。

而且当我们没有足够的标记数据为我们训练可靠模型的任务或领域时,传统的监督式学习范式就会崩溃。

如果我们想要训练一个模型来检测夜间图像上的行人,我们可以应用一个已经在类似的领域进行训练的模型,例如在日间图像上。然而在实践中,由于模型继承了训练数据的偏见,这个时候我们就需要改动其中的一些参数或者寻找一些新的模型。

如果我们想要训练一个模型来执行一个新的任务,比如检测骑自行车的人,我们甚至不能重复使用现有的模型,因为任务之间的标签是不同的。

迁移学习使我们能够利用已经存在的某些相关任务的标记数据来处理这些场景,新的模型继承了老模型的相关能力。

在实践中,我们试图将尽可能多的知识从源头迁移到目标任务或领域。这些知识可以根据数据采取多种形式:它可以涉及如何组成对象,使我们更容易识别新的对象等。

为什么要迁移学习?

斯坦福大学教授Andrew Ng在他广泛流行的NIPS 2016教程中表示,迁移学习将是在监督学习之后成为ML商业成功的下一个推动力。

他在白板上画出了一张图表,据Andrew Ng介绍,迁移学习将成为机器学习在行业中取得成功的关键因素。

毫无疑问,ML在工业界的使用和成功迄今主要是由监督学习推动的。在深度学习、强大的算法和大量标记数据集的推动下,监督学习使得人类对人工智能兴趣大增,特别是我们已经看到的机器学习的应用近几年来,这已成为我们日常生活的一部分。

然而,为什么迁移学习已经存在了几十年,目前在工业上很少被利用,为什么会看到吴恩达预测的爆炸性增长呢?与其他机器学习领域相比,迁移学习目前受到关注较少,例如无监督学习和强化学习。强化学习是由Google DeepMind领导,例如AlphaGo的成功,以及通过将Google的数据中心冷却费用降低40%。这两个领域虽然很有希望,但在可预见的未来可能只会产生相对较小的商业影响,大部分仍然处于尖端研究报告的范围内,因为它们仍然面临着许多挑战

目前在工业中使用机器学习的特点是二分天下:
一方面:在过去的几年中,我们已经获得了训练越来越精确模型的能力。最先进的模型表现的非常好,已经满足了用户的需求。到底有多好?ImageNet上的最新残差网络在识别物体方面实现了超人的性能;天猫小秘的智能回复广泛应用,语音识别错误一直下降;我们可以自动识别皮肤癌以及其他症状。这种成熟度使得这些模型能够大规模地部署到数百万用户。

另一方面:这些成功的模型非常需要数据,并依靠大量的标记数据来实现其性能。对于一些任务和领域,这些数据是多年来一直苦心经营的。在一些情况下,它是公开的,例如ImageNet,但是大量的标记数据通常是专有的或昂贵的,就像语音或MT数据集一样,因此在数据上就有了竞争优势,有了竞争机器学习才能更好的商业化。

同时,在应用机器学习模型时,存在着大量问题,如:模型以前从未见过,不知如何处理的诸多条件,每个客户和每个用户都有自己的偏好,拥有与用于训练的数据不同的数据;一个模型被要求执行许多没有被训练的任务。在所有这些情况下,我们目前最先进的模型有的时候也会崩溃。

迁移学习可以帮助我们处理这些,首先我们必须学会将我们所获得的知识迁移到新的任务和领域。为了做到这一点,我们需要了解迁移学习涉及的概念。接着我们来介绍一些迁移学习的相关应用。

迁移学习的应用

迁移学习中一个特别重要的应用是模拟学习,对于许多依靠硬件进行交互的机器学习应用程序来说,在现实世界中收集数据和训练模型是昂贵的、耗时的。因此,以其他风险较小的方式收集数据是明智的。

模拟就是这方面的首选方法,它已经被用于在现实世界中许多先进的ML系统。从模拟中学习并将获得的知识应用到现实世界中是一个迁移学习场景的实例,因为源域和目标域之间的特征空间是相同的(两者通常都依赖于像素),但是模拟和边界概率分布现实是在模拟和来源不同,即物体的样子不同,尽管这种差异随着模拟变得更现实而减少。与此同时,模拟和真实世界之间的条件概率分布可能是不同的,因为模拟不能完全复制现实世界中的所有反应,例如物理引擎不能完全模拟真实世界对象的复杂相互作用。

模拟的好处是可以方便地收集数据,因为可以轻松地绑定和分析对象,同时实现快速训练,因为学习可以跨多个实例并行化。因此,它是大型机器学习项目需要与现实世界交互的先决条件,如自驾车。据谷歌自驾汽车技术负责人赵引佳介绍,“如果你真的想做一辆自驾车,模拟是必不可少的”。Udacity已经开源了模拟器,它用于教自己驾驶的汽车工程师nanodegree,而且OpenAI的世界可能允许使用GTA 5或其他视频游戏来训练自驾车。

其他的应用还有适应新的领域以及跨语言传输知识。这些应用都是非常有趣的,而且商业价值也比较高。

结论:迁移学习一定会成为未来继监督学习研究的热点,因为它本身可以创造足够多的经济价值。有了更清晰的商业价值,科技巨头才会更多的关注这项科技。

文章原标题《transfer-learning Machine Learning’s Next Frontier》,作者:Sebastian
Ruder,译者:虎说八道,审校:袁虎。

文章为简译,更为详细的内容,请查看原文

时间: 2024-10-11 15:11:04

迁移学习——机器学习的下一个前沿阵地的相关文章

谷歌眼镜计划将成为开发者们下一个“前沿阵地”

北京时间7月9日消息,科技网站CNET日前发表了一篇署名为本·帕尔(Ben Parr)的文章称,谷歌的Project Glass有可能赶超 Facebook Platform及苹果iOSApp Store应用商店,成为应用开发者们下一个亟待开发重要领域. 以下是文章主要内容: 谷歌一直在尝试开发下一代可穿戴计算机产品,在谷歌I/O大会上,跳伞运动员佩戴Project Glass,以现场直播的方式对该产品进行了展示.这非常清晰地表明,Project Glass并不是什么边缘产品,它是谷歌的未来.

14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04

迁移学习对于人类来说,就是掌握举一反三的学习能力.对于计算机而言,所谓迁移学习,就是从一个或多个源任务(source task)中抽取知识和经验,然后将其应用于一个有相关性的目标领域(target domain). 本期我们带来的是由 PaperWeekly 社区用户 @jindongwang 创建的迁移学习专题论文集,通过 14 篇最新和经典论文,带大家了解迁移学习的发展和现状.如果有合你心意的论文,复制链接到浏览器即可查看原文. Domain adaptation via transfer

为什么吴恩达认为未来属于迁移学习?

雷锋网按:日前,知名 AI 博主.爱尔兰国立大学 NLP 博士生 Sebastian Ruder 以"迁移学习:机器学习的下一个前线"为题,对迁移学习的技术原理.重要性与意义.应用方法做了详细阐述.本文对其中讨论迁移学习的原理.重要性,以及吴恩达的预测的部分做了节选,阅读原文(英文)请戳这里.雷锋网编译. Sebastian Ruder  Sebastian Ruder:在训练深度神经网络.学习输入到输出的精准映射上,近年来我们做得越来越好.不管是针对图像.语句,还是标签预测,有了大量

自动化机器学习将成为下一个AI研究主流?听听数据科学家怎么说

雷锋网(公众号:雷锋网)按:在过去的一年当中,自动化机器学习已经成为一个众人感兴趣的话题.KDnuggets举办了一个关于该话题的博客大赛.结果喜人,有很多有意思的想法与项目被提出来了.一些自动化学习工具也引起了大家的兴趣,受到了大家的追捧. 本篇文章的作者 Matthew Mayo 将会对自动化学习进行简单的介绍,探讨下一下它的合理性.采用情况,介绍下它现在使用的工具,讨论下它预期的未来发展方向.本文由雷锋网编译,未经许可不得转载. 什么是自动化机器学习呢? 接下来我们要探讨的是自动化机器学习

神经网络之父 Geoffrey Hinton:深度学习的下一个飞跃是什么?

Geoffrey Hinton,图源网络 雷锋网按: Geoffrey Hinton 被尊称为"神经网络之父",他将神经网络带入到研究与应用的热潮,将"深度学习"从边缘课题变成了谷歌等互联网巨头仰赖的核心技术,并将 HintonBack Propagation(反向传播)算法应用到神经网络与深度学习,还提出了"Dark Knowledge"概念. Geoffrey Hinton 曾获得爱丁堡大学人工智能的博士学位,并且为多伦多大学的特聘教授.在

深度学习下一个大突破:机器阅读

机器阅读将是深度学习的下一个重大进展 回顾2016年,深度学习在应用领域取得了三个重大进展. 1. Google DeepMind 的 AlphaGo,战胜了人类顶级围棋高手. 2. Google Translate 上线,达到了与人类媲美的精度. 3. Tesla 的 AutoPilot 投入使用,让自动导航成为大众使用的日常工具. 展望2017年,深度学习在应用领域将会有新的突破,其中一大看点,就是机器阅读. 书籍是人类文明的主要传承工具.让机器掌握自动阅读的能力,将会颠覆性地降低知识传承和

【干货】AI 实践者需要掌握的10大深度学习方法:反向传播、迁移学习、梯度下降……

过去10年,人们对机器学习的兴趣激增.几乎每天,你都可以在各种各样的计算机科学课程.行业会议.华尔街日报等等看到有关机器学习的讨论.在所有关于机器学习的讨论中,许多人把机器学习能做的事情和他们希望机器学习做的事情混为一谈.从根本上讲,机器学习是使用算法从原始数据中提取信息,并在某种类型的模型中表示这些信息.我们使用这个模型来推断还没有建模的其他数据. 神经网络是机器学习的一种模型,它们至少有50年历史了.神经网络的基本单元是节点(node),基本上是受哺乳动物大脑中的生物神经元启发.神经元之间的

大神带你分分钟超越最好结果——基于分布式CPU计算的Deeplearning4j迁移学习应用实例

更多深度文章,请关注:https://yq.aliyun.com/cloud          2016年,欧莱礼媒体公司首席数据科学家罗瑞卡宣称:"2017年将是数据科学和大数据圈参与AI技术合作的一年."在2017年之前,对基于GPU的深度学习已经渗透到大学和研究机构,但基于CPU分散式深度学习开始在不同的公司和领域得到广泛采用.虽然GPU提供了顶级的数字计算性能,但CPU也在变得更加高效,并且现有的大部分硬件已经有大量可用的CPU计算能力.另外GPU的价格比CPU的价格要相对而言

科学式家|杨强教授漫谈《西部世界》、生成式对抗网络及迁移学习

「范式大学」由第四范式发起,致力于成为"数据科学家"的黄埔军校,校长为第四范式首席科学家,华人界首个国际人工智能协会AAAI Fellow.唯一的AAAI 华人执委杨强教授.   [范式大学]在探索AI工业化的同时,也关注最新学术研究成果.近日,杨强教授在[范式大学]内部课程中,与大家分享了他在 "生成式对抗网络模型" 和迁移学习等领域的独特见解和最新思考.在此特别感谢杨教授的博士生张颖华同学的帮助.   以下内容根据杨强教授演讲编写,略微有所删减. 有些人看过电视