[案例]网易云音乐的个性化推荐

用过虾米、酷狗、QQ音乐、网易云音乐,个人感受网易云音乐在音乐推荐这块做的真心不错,特别是以“人”为角度的推荐,没有像虾米、酷狗推的那么乱。虾米还可以,但更多的是以歌搜歌的形式。刚注册了一个新的账号,避免有历史数据的干扰,听了一首周杰伦的《一路向北》和陈奕迅的《淘汰》,然后去个性化推荐里看到了蔡健雅的《红色高跟鞋》和曲婉婷的《承认》,给我的感觉还是比较惊喜,像蔡健雅一般听的人比较少,还能推荐到体验不错。当然也有很多不一定特别准,当然听歌这东西就不需要完全准确。

网易云音乐关于个性化推荐这块在公司外部介绍的比较少,但应该推荐的算法和机制和大部分的音乐素材的公司做的类似。以item为核心的协同过滤(CF),通过打分机制来推荐最适合的歌曲。

印象中早期网易云音乐还可以将自己听的歌曲分享到微信朋友圈等,通过跳转关联到的账户ID识别出朋友关系。这个想法的确很赞,包括我第一次听《一路向北》的时候也是一个朋友推荐给我的,这首歌不仅是个人喜欢的风格,再加上有朋友推荐所以留下很好的印象。但是很可惜,那个时候朋友圈不能分享。微博还可以分享,只是现在微博的数据很多水分。

现在主流的方式都是人工+智能推荐,人工的方式就不过多介绍,费时费力。出不了几张有限的专辑。现在主流都是通过机器学习的方式,通过同类人类的偏好给相似的人群推荐他们都喜欢的歌曲。也有根据以歌的item推荐相似的歌曲,但体验就是听来听去就是那个风格,很快就乏味了。

算法部分:

◆ ◆ ◆

1.相似人群的推荐

有3首歌放在那里,《最炫民族风》,《晴天》,《Hero》。
A君,收藏了《最炫民族风》,而遇到《晴天》,《Hero》则总是跳过;
B君,经常单曲循环《最炫民族风》,《晴天》会播放完,《Hero》则拉黑了
C君,拉黑了《最炫民族风》,而《晴天》《Hero》都收藏了。

我们都看出来了,A,B二位品味接近,C和他们很不一样。
那么问题来了,说A,B相似,到底有多相似,如何量化?

我们把三首歌想象成三维空间的三个维度,《最炫民族风》是x轴,《晴天》是y轴,《Hero》是z轴,对每首歌的喜欢程度即该维度上的坐标,
并且对喜欢程度做量化(比如: 单曲循环=5, 分享=4, 收藏=3, 主动播放=2 , 听完=1, 跳过=-1 , 拉黑=-5 )。
那么每个人的总体口味就是一个向量,A君是 (3,-1,-1),B君是(5,1,-5),C君是(-5,3,3)。 (抱歉我不会画立体图)
我们可以用向量夹角的余弦值来表示两个向量的相似程度, 0度角(表示两人完全一致)的余弦是1, 180%角(表示两人截然相反)的余弦是-1。

根据余弦公式, 夹角余弦 = 向量点积/ (向量长度的叉积) = ( x1x2 + y1y2 + z1z2) / ( 跟号(x1平方+y1平方+z1平方 ) x 跟号(x2平方+y2平方+z2平方 ) )
可见 A君B君夹角的余弦是0.81 , A君C君夹角的余弦是 -0.97 ,公式诚不欺我也。
以上是三维(三首歌)的情况,如法炮制N维N首歌的情况都是一样的。
假设我们选取一百首种子歌曲,算出了各君之间的相似值,那么当我们发现A君还喜欢听的《小苹果》B君居然没听过,相信大家都知道该怎么和B君推荐了吧。

第一类以人为本推荐算法的好处我想已经很清楚了,那就是精准!
代价是运算量很大,而且对于新来的人(听得少,动作少),也不太好使,
所以人们又发明了第二类算法。

假设我们对新来的D君,只知道她喜欢最炫民族风,那么问题来了,给她推荐啥好咯?
如图,推荐《晴天》!

这里我想给大家介绍另外一种推荐系统,这种算法叫做潜在因子(Latent Factor)算法。这种算法是在NetFlix(没错,就是用大数据捧火《纸牌屋》的那家公司)的推荐算法竞赛中获奖的算法,最早被应用于电影推荐中。这种算法在实际应用中比现在排名第一的 @邰原朗 所介绍的算法误差(RMSE)会小不少,效率更高。我下面仅利用基础的矩阵知识来介绍下这种算法。

这种算法的思想是这样:每个用户(user)都有自己的偏好,比如A喜欢带有小清新的、吉他伴奏的、王菲等元素(latent factor),如果一首歌(item)带有这些元素,那么就将这首歌推荐给该用户,也就是用元素去连接用户和音乐。每个人对不同的元素偏好不同,而每首歌包含的元素也不一样。我们希望能找到这样两个矩阵:

一,用户-潜在因子矩阵Q,表示不同的用户对于不用元素的偏好程度,1代表很喜欢,0代表不喜欢。比如下面这样:

二,潜在因子-音乐矩阵P,表示每种音乐含有各种元素的成分,比如下表中,音乐A是一个偏小清新的音乐,含有小清新这个Latent Factor的成分是0.9,重口味的成分是0.1,优雅的成分是0.2……

利用这两个矩阵,我们能得出张三对音乐A的喜欢程度是:张三对小清新的偏好*音乐A含有小清新的成分+对重口味的偏好*音乐A含有重口味的成分+对优雅的偏好*音乐A含有优雅的成分+……

即:0.6*0.9+0.8*0.1+0.1*0.2+0.1*0.4+0.7*0=0.69

每个用户对每首歌都这样计算可以得到不同用户对不同歌曲的评分矩阵
。(注,这里的破浪线表示的是估计的评分,接下来我们还会用到不带波浪线的R表示实际的评分):

因此我们队张三推荐四首歌中得分最高的B,对李四推荐得分最高的C,王五推荐B。

如果用矩阵表示即为:

下面问题来了,这个潜在因子(latent factor)是怎么得到的呢?

由于面对海量的让用户自己给音乐分类并告诉我们自己的偏好系数显然是不现实的,事实上我们能获得的数据只有用户行为数据。我们沿用 @邰原朗的量化标准:单曲循环=5, 分享=4, 收藏=3, 主动播放=2 , 听完=1, 跳过=-2 , 拉黑=-5,在分析时能获得的实际评分矩阵R,也就是输入矩阵大概是这个样子:

事实上这是个非常非常稀疏的矩阵,因为大部分用户只听过全部音乐中很少一部分。如何利用这个矩阵去找潜在因子呢?这里主要应用到的是矩阵的UV分解。也就是将上面的评分矩阵分解为两个低维度的矩阵,用Q和P两个矩阵的乘积去估计实际的评分矩阵,而且我们希望估计的评分矩阵

事实上这是个非常非常稀疏的矩阵,因为大部分用户只听过全部音乐中很少一部分。如何利用这个矩阵去找潜在因子呢?这里主要应用到的是矩阵的UV分解。也就是将上面的评分矩阵分解为两个低维度的矩阵,用Q和P两个矩阵的乘积去估计实际的评分矩阵,而且我们希望估计的评分矩阵


和实际的评分矩阵不要相差太多,也就是求解下面的目标函数:

这里涉及到最优化理论,在实际应用中,往往还要在后面加上2范数的罚项,然后利用梯度下降法就可以求得这P,Q两个矩阵的估计值。这里我们就不展开说了。例如我们上面给出的那个例子可以分解成为这样两个矩阵:

这两个矩阵相乘就可以得到估计的得分矩阵:这两个矩阵相乘就可以得到估计的得分矩阵:
将用户已经听过的音乐剔除后,选择分数最高音乐的推荐给用户即可(红体字)。将用户已经听过的音乐剔除后,选择分数最高音乐的推荐给用户即可(红体字)。

在这个例子里面用户7和用户8有强的相似性:
从推荐的结果来看,正好推荐的是对方评分较高的音乐:从推荐的结果来看,正好推荐的是对方评分较高的音乐:

本质上应该都类似,都是从Amazon那条路子下来的。但是这种方式也会遇到问题:

A)冷启动的问题,在没有用户数据的情况下要推哪些歌曲,目前网易云音乐搞了个比较Q的调查问卷,还是挺有趣的。

B)同质化严重问题,怎么加入新的元素,比如热门+新歌来补充这块;

C)人群变化问题,光靠推荐很明显不代表每个个体的情况,特别是一些小众群体,数据比较稀疏。这些就需要用户自己主动搜索和添加、喜欢、下载的方式。

◆ ◆ ◆

2. 相似歌的推荐


虾米、酷狗上都是这样的歌曲漫游推荐的形式,个人不太提倡这样的方式,简单认为听过A歌的人也可能喜欢B,这个差异还是比较大的。而且还是要维护一堆歌曲的tag标签。

整体来说,网易云音乐在个性化推荐这块算法还是花了不少真功夫。看到他们在算法招聘、并发计算这些实时场景的介绍比较少,还是希望能够有机会在线下能够有这块的交流。

原文发布时间为:2016-03-03

时间: 2024-10-01 22:10:46

[案例]网易云音乐的个性化推荐的相关文章

网易云音乐“个性化推荐”的设计改版经验总结

  网易云音乐的"个性化推荐"一直是好评如潮,但很少人注意到,这个功能从诞生到现在已历经了多次改版.在这个迭代过程中,如何优雅地让用户感知到它的功能特色?今天网易云音乐的交互设计师俞静给大家聊聊改版过程的思考和经验,这类亲历实战经验可遇不可得,建议阅读,何况这还是一个你最喜欢的(猜的)音乐App呢? 话说,云音乐是最早做歌单个性化推荐的 -- 在首页根据你的口味推荐歌单,只是一开始绝大多数用户都不知道有这个功能. 为什么呢?因为我们在展示上非常低调 -- 在首页上的表现就是,热门推荐歌

网易云音乐歌单突破千万 歌单推荐引风潮

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;       11月1日,网易云音乐宣布,其拥 有的歌单数量突破1000万,成为首家歌单数量超千万级的音乐软件.自诞生以来,网易云音乐开创的歌单模式,引领了整个音乐行业的发展潮流. 图1 网易云音乐歌单推荐界面 歌单,即按照一定主题创建的歌曲列表,是一种全新的歌曲组织形式.作为首家完全以用户创建的歌单为基本线索的音乐软件,网易云音乐彻底把音乐从古老的专辑.单曲等形式中

音乐社交大PK 网易云音乐VS多米音乐

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;    随着移动互联网行业的 高速发展,大众的音乐需求也正在发生深刻变化,传统的音乐播放器已远远不能满足用户的需要.业内认为,社交化是互联网音乐发展的一种趋势,不少音乐APP已将音乐和社交关系高度整合.多米音乐和网易云音乐是"社交"概念上走得最远两款APP,本文将分析两者是如何构建.运营音乐社交圈,并对这些功能做出对比评价.       近期,多米

网易云音乐发布2014年度中国移动音乐用户行为报告

日前,网易云音乐对全国音乐软件用户进行了详尽调查,通过海量数据分析得出<2014中国人移动音乐用户行为报告>.该报告主要对中国移动音乐用户行为进行分析,研究各种因素对移动音乐用户行为产生的影响,移动音乐软件内容特点及行业发展.期望为市场各方面提供参考.报告显示,移动音乐用户与收入有关,不同收入人群对音乐软件选择有较大差异:2014年,移动音乐用户最多的行为除听歌外,分享单曲.歌词以及音乐评论等社交行为较前一年有数倍增长.提升显著.第一部分:用户年龄.性别.收入等基本属性85后占移动音乐听众主流

网易云音乐for Android 1.5版引入了个性化推荐机制

摘要: 从1月25日上线至今,网易云音乐已经迭代发展了八个月时间,在今天下午的媒体沟通会上,网易音乐高级总监王磊首次披露了云音乐的各项数据:截至9月初,注册用户已达600万:歌单总 从1月25日上线至今,网易云音乐已经迭代发展了八个月时间,在今天下午的媒体沟通会上,网易音乐高级总监王磊首次披露了云音乐的各项数据:截至9月初,注册用户已达600万:歌单总量超千万,其运营数据表显示,在歌单.单曲.专辑和歌手TOP50等多种音乐形式中,80%的用户选择收听歌单. 而新上线的网易云音乐 for Andr

网易云音乐for iPhone 2.0新增主播电台、个性化推荐

摘要: 网易云音乐产品团队憋了两个月的大招终于放出来了,网易云音乐 for iPhone 2.0版本在国庆节这天上线.新增的36项新功能中最重要的三项分别是:主播电台功能.私人FM频道和评论. 主 网易云音乐产品团队憋了两个月的大招终于放出来了,网易云音乐 for iPhone 2.0版本在国庆节这天上线.新增的36项新功能中最重要的三项分别是:"主播电台功能"."私人FM频道"和"评论". "主播电台"是之前"DJ

网易云音乐移动端发布新版,引入个性化推荐机制

摘要: 从1月25日上线至今,网易云音乐已经迭代发展了八个月时间,在今天下午的媒体沟通会上,网易音乐高级总监王磊首次披露了云音乐的各项数据:截至9月初,注册用户已达600万:歌单总 从1月25日上线至今,网易云音乐已经迭代发展了八个月时间,在今天下午的媒体沟通会上,网易音乐高级总监王磊首次披露了云音乐的各项数据:截至9月初,注册用户已达600万:歌单总量超千万,其运营数据表显示,在歌单.单曲.专辑和歌手TOP50等多种音乐形式中,80%的用户选择收听歌单. 而新上线的网易云音乐 for Andr

网易云音乐电脑版每日推荐在哪里?

  网易云音乐电脑版每日推荐在哪里? 1.进入网易云音乐主界面,点击"发现音乐" 网易云音乐 2.在右方有个"每日歌曲推荐",点击进入即可试听

网易云音乐最新电影单曲推荐 从小苹果到后会无期

近日,不少电影选择暑期档上线.而 网易云音乐也http://www.aliyun.com/zixun/aggregation/21263.html">第一时间收录了其中的主题歌和热门插曲.不得不承认,这些电影音乐很好的为电影增添了氛围,也起到了很好的预热效果, 有的甚至比电影红的还早. <猛龙过江>筷子兄弟最近有点火 提到近日的"神曲",非<小苹果>莫属,不但引得国内外不少人翻唱,还成功"攻陷"广场舞大妈,成为广场舞新宠.一时