我所推荐的深度学习学习路径

深度学习最近为什么这么火

外行所见的是2016年AlphaGo 4比1 战胜李世石,掀起了一波AI热潮,DeepMind背后所用的深度学习一时间火得不得了。其实在内行看来,AlphaGo对阵李世石的结果是毫无悬念的,真正的突破在几年前就发生了。2012年,Gefferey Hinton的学生Alex使用一个特别构造的深度神经网络(后来就叫AlexNet),在图像识别的专业比赛ImageNet中,得到了远超之前最好成绩的结果,那个时候,整个人工智能领域就已经明白,深度学习的革命已经到来了。果然,之后深度学习在包括语音识别,图像理解,机器翻译等传统的人工智能领域都超越了原先各自领域效果最好的方法。从2015年起,工业界内一些嗅觉灵敏的人士也意识到,一场革命或已到来。

基本概念

机器学习与深度学习

深度学习是机器学习中的一种技术,机器学习包含深度学习。机器学习还包含其他非深度学习的技术,比如支持向量机,决策树,随机森林,以及关于“学习”的一些基本理论,比如,同样都能描述已知数据的两个不同模型,参数更少的那个对未知数据的预测能力更好(奥卡姆剃刀原理)。而深度学习是一类特定的机器学习技术,主要是深度神经网络学习,在之前经典的多层神经网络的基础上,将网络的层数加深,并辅以更复杂的结构,在有极大量的数据用于训练的情况下,在很多领域得到了比其他方法更好的结果。

机器学习与大数据

大数据:机器学习的基础,但在多数语境下,更侧重于统计学习方法

机器学习,深度学习,数据挖掘,大数据的关系可以用下图表示

资料

深度学习火起来之后,网上关于深度学习的资料很多。但是其质量参差不齐。我从2013年开始就关注深度学习,见证了它从一个小圈子的领先技术到一个大众所追捧的热门技术的过程。也看了很多资料。我认为一个高质量的学习资料可以帮助你真正的理解深度学习的本质,并且更好地掌握这项技术,用于实践。

以下是我所推荐的学习资料

视频课程

Yaser Abu-Mostafa

加州理工的Yaser Abu-Mostafa教授出品的机器学习网络课程,非常系统地讲解了机器学习背后的原理,以及主要的技术。讲解非常深入浅出,让你不光理解机器学习有哪些技术,还能理解它们背后的思想,为什么要提出这项技术,机器学习的一些通用性问题的解决方法(比如用正则化方法解决过拟合)。强烈推荐,吐血推荐!
课程名称:Machine Learning Course - CS 156
视频地址:https://www.youtube.com/watch?v=mbyG85GZ0PI&list=PLD63A284B7615313A

(注:这门课程是英文讲解,其实并不算太难。如果真的不愿意听英文,可以看他的学生林田轩的课程,主要内容相近。课程名称:机器学习基石。视频地址:https://www.youtube.com/watch?v=nQvpFSMPhr0&list=PLXVfgk9fNX2I7tB6oIINGBmW50rrmFTqf

Geoffrey Hinton

深度学习最重要的研究者。也是他和另外几个人(Yann LeCun,Yoshua Bengio等)在神经网络被人工智能业界打入冷宫,进入低谷期的时候仍然不放弃研究,最终取得突破,才有了现在的深度学习热潮。他在Coursera上有一门深度学习的课程,其权威性自不待言,但是课程制作的质量以及易于理解的程度,实际上比不上前面Yaser Mostafa的。当然,因为其实力,课程的干货还是非常多的。
课程名称:Neural Networks for Machine Learning
课程地址:https://www.coursera.org/learn/neural-networks

UdaCity

Google工程师出品的一个偏重实践的深度学习课程。讲解非常简明扼要,并且注重和实践相结合。推荐。这门课程是英文讲解,但提供中文字幕。
课程名称:深度学习
课程地址:https://cn.udacity.com/course/deep-learning--ud730

小象学院

国内小象学院出品的一个深度学习课程,理论与实践并重。由纽约城市大学的博士李伟主讲,优点是包含了很多业内最新的主流技术的讲解。值得一看。
课程名称:深度学习(第四期)
课程地址: http://www.chinahadoop.cn/classroom/45/courses

《Deep Learning the Book》 —— 这本书是前面提到的大牛Yoshua Begio的博士生Goodfellow写的。Goodfellow是生成式对抗网络的提出者,生成式对抗网络被Yann LeCun认为是近年最激动人心的深度学习技术想法。这本书比较系统,专业,偏重理论,兼顾实践。是系统学习深度学习不可多得的好教材。英文版见 http://deeplearningthebook.com,目前Github上已经有人翻译出了中文版https://github.com/exacity/deeplearningbook-chinese

推荐路径

不同的人有不同的需求,有些人希望掌握好理论基础,然后进行实践,有些人希望能够快速上手,马上做点东西,有些人希望理论与实践兼顾。下面推荐几条学习路径,照顾到不同的需求。大家可以根据自己的特点进行选择。

  1. Hard way
    Yaser -> Geoffrey Hinton -> UdaCity -> 小象学院 -> Good Fellow

特点:理论扎实,步步为营。最完整的学习路径,也是最“难”的。
推荐指数 4星

  1. Good way
    Yaser -> UdaCity -> 小象学院 -> Good Fellow

特点:理论扎实,紧跟潮流,兼顾实战,最后系统梳理。比较平衡的学习路径。
推荐指数 5星

  1. "Fast" way
    UdaCity -> Good Fellow

特点:快速上手,然后完善理论。
推荐指数 4星

  1. "码农" way
    UdaCity

特点:快速上手,注重实践。
推荐指数 3星

以上路径按照从完整到精简的顺序排列。如果要我只推荐一条路径的话,那么就是2 Good way(Yaser -> UdaCity -> 小象学院 -> Good Fellow),完整同时又兼顾效率,理论与实践并进的学习路径。强烈推荐。

时间: 2024-10-29 23:09:32

我所推荐的深度学习学习路径的相关文章

【双11背后的技术】基于深度强化学习与自适应在线学习的搜索和推荐算法研究

选自<不一样的技术创新--阿里巴巴2016双11背后的技术>,全书目录:https://yq.aliyun.com/articles/68637 本文作者:灵培.霹雳.哲予 1. 搜索算法研究与实践 1.1 背景 淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应,而淘宝的用户不仅数量巨大,其行为特点以及对商品的偏好也具有丰富性和多样性.因此,要让搜索引擎对不同特点的用户作出针对性的排序,并以此带动搜索引导的成交提升,是一个极具挑战性的问题.传统的Learning to Rank(LTR)方法主要是

邓侃:深度强化学习“深”在哪里?

当今世界,科技发展日新月异.即便是业界中人,往往也搞不清同行们的动态.所以,隔三差五需要有人梳理业界的动态.  "Deep ReinforcementLearning: An Overview" [1] 这篇论文的作者,梳理了深度学习与增强学习相融合的最新动态.   这是一篇苦心之作,   梳理了该领域各个学派的基本思路及其区别. 罗列了各种测试平台,目前主要是各种游戏,之所以用游戏来做测试,是因为容易采集数据. 值得读的论文,罗列了各个学派的重要论文.  枚举了若干重要的应用,包括游

『干货』深度强化学习与自适应在线学习的阿里实践

1搜索算法研究与实践 1.1背景 淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应,而淘宝的用户不仅数量巨大,其行为特点以及对商品的偏好也具有丰富性和多样性.因此,要让搜索引擎对不同特点的用户作出针对性的排序,并以此带动搜索引导的成交提升,是一个极具挑战性的问题.传统的Learning to Rank(LTR)方法主要是在商品维度进行学习,根据商品的点击.成交数据构造学习样本,回归出排序权重.LTR学习的是当前线上已经展示出来商品排序的现象,对已出现的结果集合最好的排序效果,受到了本身排序策略的影响

深度强化学习、GAN与多巴胺对撞:阿里“AI 智能体”认知研讨会干货

2017年4月,阿里巴巴首次向外公布在人工智能"认知"层面上的研究成果:阿里巴巴认知计算实验室与伦敦大学学院计算机系合作,以游戏"星际争霸1"中的微观战斗场景为测试环境,深入地研究了多个 AI 智能体之间的协作难题,旨在通过协作智能解决人类不擅长的问题. 该研究引入的多智能体双向协作网络(BiCNet )可以自动学习游戏中的各种最佳策略,以使多个智能体协同作战,从无碰撞移动到基本的攻击和逃跑策略,再到复杂的掩护攻击和集中火力攻击. 据介绍,该研究在对战游戏中与其他方

Deep Reinforcement Learning for Dialogue Generation-关于生成对话的深度强化学习

关于生成对话的深度强化学习   摘要:生成对话的最新神经模型为对话代理提供了很好的前景,但这往往是短视的.每次只预测一句话语从而忽视了它们对之后输出的影响.模拟对话的未来方向的关键在于生成连续.有趣的对话,导致对话的传统NLP模型去借鉴强化学习的需求.在本文中,我们展示如何去整合这些目标,在聊天机器人对话中使用深度强化学习去建模未来的反馈.该模型模拟两个虚拟代理之间的对话,使用策略梯度算法去惩罚序列,该序列展示三个有用的对话性质:信息性(非重复交替),连贯性,和易于回答(与前瞻性功能有关).我们

【专栏】谷歌资深工程师深入浅析AlphaGo Zero与深度强化学习

AlphaGo的巨大成功掀起了围棋界三千年未有之大变局,也使得深度强化学习(Deep Reinforcement Learning)渐为大众熟悉.尤其是最新推出的AlphaGo Zero完全摒弃了人类知识,并且三天内碾压了早期版本的AlphaGo,更足显强化学习和深度学习结合的巨大威力.AlphaGo Zero的论文侧重于描述效果,对于方法的论述比较简短,没有相关背景的人读起来可能会有一些困难.本文对强化学习以及AlphaGo Zero算法做了详细描述. 摘要 AlphaGo Zero无需任何人

【阿里云资讯】最前沿人工智能,助力双11搜索推荐技术再升级——深度增强学习大规模在线应用

11月12日消息,天猫"双11"销售额6分58秒破百亿:前30分钟内交易峰值17.5万笔/秒,支付峰值12万笔/秒,24小时实现销售额1207亿元.用户更快.更准购物体验来自于搜索和推荐的数据智能的提升.   去年双11期间,搜索事业部因为采用个性化推荐技术给业务带来显著提升而获得阿里巴巴最高奖"CEO奖",今年技术再度升级,规模化上线最前沿的人工智能技术深度增强学习与自适应在线学习,用户点击率提升10-20%. 阿里搜索和推荐技术负责人王志荣表示,双十一的搜索与推

《中国人工智能学会通讯》——4.38 漫谈小样本的类人概念学习与大数据的深度强化学习

4.38 漫谈小样本的类人概念学习与大数据的深度强化学习 Artificial Intelligence,人工智能,最近非常火热的话题,也算是人类最美好的梦想之一.但是非常可惜,即便 AlphaGO 已经成功挑战了人类智力游戏的最后的一块高地--围棋,到目前为止仍然还没有看到人工智能产生"自我"意识的希望:也就说,人工智能至少现在阶段还无法超越人类智慧,即便在学习和识别方面,人工智能和人类相比还是存在较大差距. 人工智能,与计算机之父图灵的名字紧紧联系在一起,但是这位大师被当时英国当局

《中国人工智能学会通讯》——4.39 什么是深度强化学习?

4.39 什么是深度强化学习? 现在街头巷尾都在谈论的机器学习,其实是一个非常宽泛的概念,而其中最酷的分支要算是深度学 习(Deeplearning) 和 强 化 学 习(Reinforcementlearning)了.谷歌的 DeepMind 就是将深度学习和强化学习这两者的精髓合二为一,提出了深度强化学习.在 2014 年的时候,这个团队就在<Nature>杂志上发表了题为<Human-level control through deepreinforcement learning&