2016年，机器学习和人工智能领域有什么重大进展？（附重要论文下载链接）

2016年机器学习领域取得了很多可以铭记在历史中的进展，将其称为”机器学习元年”也并不为过。市场上各大公司都在进行机器学习的研究，即使没有，他们也通过收购各类机器学习初创公司来快速进入这个领域。

造就这一轮机器学习的热潮的原因很多。虽然Google开源Tensorflow框架才过去短短一年，Tensorflow已然成为Github上最为炙手可热的项目，使用场景横跨从药物研发到自动音乐生成等各个领域。Google并不是唯一开源了机器学习基本框架的科技巨头，微软的CNTK，百度的PaddlePaddle都是目前被广泛使用的机器学习框架。Amazon虽然没有自己研发的机器学习框架，但他们已经宣布将在未来支持MXNet，以期推广他们最新的AWS ML平台。而Facebook目前主要支持两个深度学习平台：Torch以及Caffe。Google本身也同时在支持在学术和工业界都取得重大成功的机器学习框架Keras。在这个意义上来说，在AI的这场技术”军备大战”中，Google与Facebook算是打成了平手。

除了各大技术公司争相开源自己的机器学习框架，2016年也见证了无数优质的机器学习的应用，这些工作即使放到几个月前都是不可想象的。

我特别印象深刻的是Wavenet的音频生成的质量。过去我曾经处理过类似的问题，对比之下对于那些他们所完成的结果我很欣赏。我也要强调一些最近在唇读方面的成就，一个伟大的视频识别的应用，在不久的将来可能是非常有用的（也许是可怕的）。我还应该提到谷歌在机器翻译方面取得的令人印象深刻的进步。看到这一领域在一年内有这么大进步真是令人惊讶。

事实上，机器翻译并不是我们在过去一年中在机器学习在自然语言技术领域看到的唯一有价值的进步。通过结合深度序列神经网络以及语言相关的一些信息，我们可以生成一些更为丰富的语言模型。例如在“A Neural Knowledge Language Model”这篇论文中，Bengio的团队将知识图谱与RNN相结合，而在“Contextual LSTM models for Large scale NLP Tasks”的论文中，Deepmind团队将文章的主题提取同时纳入到LSTM模型。此外，我们还看到了许多在建模语言模型的attention和memory(这两个词在学术方面有专门的含义，解释成注意力和记忆也没错，但是总觉得有点不太对)方面的有趣工作。作为一个例子，我推荐在今年的ICML(国际机器学习大会)中发表的论文“Ask Me Anything: Dynamic Memory Networks for NLP”。

此外，我还想要提及一些发表于2016年在巴塞罗那举行的NIPS上的工作。遗憾的是，我错过了这次在我的家乡举行的会议。从我了解的内容来看，两个最热门的话题可能是生成式对抗网络（包括Ian Goodfellow的非常受欢迎的教程）和结合概率模型的深度学习相关的课题。

另外我也想谈一下机器学习在我的主要专业领域，推荐系统方面的一些进步。毫无疑问，深度学习也深刻影响了这一领域。虽然我个人仍然不建议将DL作为推荐系统的默认方法，但看它如何在实际工作中大规模的使用是很有趣的，例如通过像Youtube这样的产品我们可以看到DL对比传统的方法上还是取得了一定进展(这里有一篇Google的paper https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/45530.pdf)。也就是说，在该领域还是有一些有趣的研究与深度学习无关。例如今年ACM Recsys的最佳论文奖颁给了“Local Item-Item Models For Top-N Recommendation”，这篇工作主要是针对稀疏线性方法（即SLIM）的一个有趣扩展，通过增加一个初始化非监督聚类的步骤提升效果。此外，“Field-aware Factorization Machines for CTR Prediction”主要详细解释了在Kaggle上的Criteo CTR预测挑战赛中的获胜算法，我们不得不正视在推荐领域，Factorization Machine仍然是你的ML工具包中非常实用的一个工具。

我可以继续在接下来的段落中列举出机器学习在过去12个月里取得的有影响力的进步。例如与图像识别或者深度强化学习相关的突破，一些重要的可应用场景包括自动驾驶汽车，聊天机器人或游戏对战，这些领域在2016年都获得了巨大的进步。此外还有各类关于机器学习如何具有或可能对社会有负面影响的争论，以及关于算法偏差和公平性的讨论的兴起。

附言：（这段有点调侃，算是学术界八卦，不翻译也罢哈哈）

在我被打电话之前，我还应该提到，大多数这些进展可能是由Schmidhuber在几年前就已经发表了。不过他至少上了今年的纽约时报特刊！

Wavenet: https://arxiv.org/pdf/1609.03499.pdf

唇读方面的成就: https://arxiv.org/pdf/1611.05358.pdf

机器翻译：https://arxiv.org/pdf/1609.08144.pdf

A Neural Knowledge Language Model：https://arxiv.org/pdf/1608.00318.pdf

Contextual LSTM models for Large scale NLP Tasks： https://arxiv.org/pdf/1602.06291.pdf

结合概率模型的深度学习相关的课题：

http://inverseprobability.com/2016/12/13/nips-highlights.html

Deep Neural Networks for YouTube Recommendations：

http://dl.acm.org/citation.cfm?id=2959190

Local Item-Item Models For Top-N Recommendation：