中国人工智能学会通讯——深度学习与推荐系统 3 总结与展望

3 总结与展望

本文中简要介绍了推荐系统的核心技术,以及关于深度学习在推荐系统上的最新进展。可以看到,目前深度模型在推荐系统上的应用还处于比较初级的阶段[28],尤其是技术上的发展较慢于计算机视觉和自然语言处理领域。关于未来工作有如下三点展望。

(1)在线学习与增量学习。在实际产品中,用户数据实时到达,为了更好地提供服务,推荐系统模型需要能够实时、有效地刷新推荐列表,这对模型的在线学习和增量学习带来挑战。现有的工作主要考虑矩阵分解等浅层模型的在线学习[13,16],对于深度模型的研究较为稀疏。

(2)关于时间的建模。时间是影响用户行为的一个重要因素,但在现有的推荐系统文献中并没有得到很好的研究。本文对推荐算法的讨论也忽略了时间因素。文献[10]探索了在用户匿名的场景下基于session的推荐,采用了循环神经网络(RNN)对用户的访问序列进行建模。文献[46]考虑了电商场景中预测用户的下一个购物篮,将用户最近一次购物记录作为当前的上下文进行建模。在实际应用中,用户的长期兴趣会随着时间缓慢变化,而短期的兴趣会随着某些事件的发生剧烈变化。如何平衡用户长期和短期的兴趣是个很有意义的研究方向。

(3)模型的复杂度和可解释性。深度学习模型通常较为复杂,虽然有较多的模型参数,但并不意味着所有的参数都有意义。为了使深度模型更加实用,并能够快速处理现实中海量的用户数据,降低模型复杂度并增加模型的可解释性非常重要。我们最近的工作[27,41]在这方面做出了一些尝试,通过设计更有效的神经网络操作降低了对模型深度的依赖,并使用注意力机制提高了模型的可解释性。未来方向还包括采用模型压缩技术和哈希学习[47]进一步提高模型的效率。

时间: 2024-08-18 06:32:30

中国人工智能学会通讯——深度学习与推荐系统 3 总结与展望的相关文章

中国人工智能学会通讯——深度学习与推荐系统 2 深度学习在推荐系统的应用

2 深度学习在推荐系统的应用 深度学习指代多层级的人工神经网络,近年来在语音识别.计算机视觉和自然语言处理等领域取得了巨大成功[32].根据深度学习技术在推荐系统中的应用方式,将相关工作大体分为两类:①作为一种基于数据的表征学习的方法,深度学习技术可以从语义较为丰富的输入数据(如语音.图片.文本等)中抽取出有效的特征表示,以方便下游应用,如检索和推荐等[11,14,17,33-40 ]:②作为一种通用的数据建模方法,深度学习对数据进行多层非线性变换,可以拟合出较为复杂的预测函数.推荐系统中的核心

中国人工智能学会通讯——深度学习与推荐系统 2.2 深度交互函数学习 (Learning Interaction Function with Deep Learning)

2.2 深度交互函数学习 (Learning Interaction Function with Deep Learning) 作为早期使用神经网络进行评分建模的代表性工作,文献[42]使用限制玻尔兹曼机(RBM)学习交互函数,但该方法的近似优化算法较为费时[28],且不易扩展到有辅助信息的情况.近期,我们在WWW2017上[6]提出了一个简单通用的基于神经网络的协同过滤框架(Neural Collaborative Filtering,NCF).其基本思想是将用户和物品表示为隐空间的低维向量后

中国人工智能学会通讯——深度学习与推荐系统 2.1 深度特征抽取(Extracting Side Features with Deep Learning)

2.1 深度特征抽取(Extracting Side Features with Deep Learning) 图4总结了一系列工作使用深度学习进行特征抽取,并用于协同过滤的基本框架.介于深度学习技术抽取出的特征通常是相对较短.稠密的向量(也称为嵌入式表示,embedding),可以和基于隐向量的矩阵分解方法无缝结合,因此这类工作大都采用矩阵分解模型进行协同过滤.例如,文献[33]在音乐推荐任务中,采用卷积神经网络(CNN)从音乐的原始特征中抽取出音乐表示,优化目标函数式(2)获得用户的隐向量:

中国人工智能学会通讯——深度学习与推荐系统 1.1 协同过滤 (Collaborative Filtering)

1.1 协同过滤 (Collaborative Filtering) 简单来说,协同过滤是指在预测一个用户对物品的喜好程度时,不仅仅依赖于该用户的历史记录,同时也要考虑其他用户的历史记录.其基本假设是兴趣相投.拥有共同经验的群体未来会喜欢相似的物品.协同过滤建模主要使用用户对物品的历史交互数据,也称为反馈数据.根据交互行为是否反映用户对物品的喜好程度可以把反馈数据分为两类:①显式反馈(explicit feedback),通常是指评分,直接反映用户对物品的喜好程度,例如豆瓣网提供用户对电影1~5

中国人工智能学会通讯——深度学习与视觉计算 1.3 计算机视觉领域利用深度学习可能带来的未来研究方向

1.3 计算机视觉领域利用深度学习可能带来的未来研究方向 第一个,深度图像分析.目前基于深度 学习的图像算法在实验数据库上效果还是 不错的,但是远远不能够满足实际大规模 应用需求,需要进一步的提升算法性能从 而能够转化相应的实际应用.比如这个基 于图片的应用,可以估计性别和年龄,但 是其实经常会犯错,因此需要进一步提升 深度图像分析的性能. 第二个,深度视频分析.视频分析牵扯 到大量的数据和计算量,所以做起来更加 麻烦.当前深度视频分析还处于起步的阶 段,然而视频应用非常广泛,比如人机交互. 智

中国人工智能学会通讯——深度学习在自然语言处理领域的最新进展

下面我来介绍一下深度学习在自然语言处理(NLP)的最新进展.我主要想针对机器翻译.聊天机器人和阅读理解这三个最活跃的方向来探讨深度学习在NLP领域的发展到了什么水平,还存在什么问题,然后再引申出未来的研究方向. 上图是自然语言处理主要技术的一览图.从左开始,第一列是自然语言的基本技术,包括词汇级.短语级.句子级和篇章级的表示,比如词的多维向量表示(word embedding).句子的多维向量表示,还有就是分词.词性标记.句法分析和篇章分析.第二列和第三列是自然语言的核心技术,包括机器翻译.提问

中国人工智能学会通讯——深度学习与视觉计算 1.1 视觉大数据

摘要:首先阐述什么是视觉大数据,以及视觉大数据分析需要解决的关键问题:然后介绍 了深度学习的发展背景,并简要回顾了深度学习在计算机视觉领域的发展历史:最后介绍 了深度学习在视觉计算中的一些工作,并讨论了未来潜在的研究方向. 1.1 视觉大数据 人类感知外部世界的时候,约有 70% 以上的外界信息是由视觉系统所接收和处 理的.因此,对于视觉信息的有效处理与 理解是非常重要的. 我们知道,从第一台光学成像设备产生 的那一刻开始,人们就在不断地改进成像 系统,希望能够更加真实地记录客观世界, 留下往日

中国人工智能学会通讯——深度学习的迁移模型 三、三种不同的迁移方法

三.三种不同的迁移方法 将这些概念加起来,就可以总结出三个不同的迁移方法 1.基于差异的方法 在哪里做迁移的转换.自适应.可以在某个层次来做,也可以在多个层次来做,如何来衡量两个领域之间的距离,可以用先验的这种概率.模型,也可以用联合概率.模型:另外还可以将源领域的信息加进来,建立一个更准确的Loss.这都是图像领域获得的知识,那自然语言会不会有类似的方式? 下面一篇描述NLP的文章也证明了这一点,假设我们把自然语言的深度处理分成三个层次,即E.H.O,如果我们锁定不变,而其他的层次有可能变化,

中国人工智能学会通讯——深度学习与视觉计算 1.2 深度学习在计算机视觉领域的应用

1.2 深度学习在计算机视觉领域的应用 深度学习近几年成为国际上非常流行 的重要的数据分析工具,在我们视觉计算 领域也得到了广泛应用.对于传统的视觉 信息处理而言,一般首先要做特征提取: 然后利用特征进行模型学习,比如分类等. 在这个过程中,涉及到模式识别研究中两 个经典的问题,即特征的提取与表示和模 型的学习. 传统算法通常利用经验知识来手工设 置视觉特征,缺少与环境的信息交互以及知 识库的决策支持.举个例子,给定一幅图 像,我们希望知道这幅图像的目标类别(比 如斑马).按照传统的视觉模式分析