美团生活服务个性化推荐实践

张彬(美团推荐算法高级研发工程师):2012年3月硕士毕业于北京邮电大学,有过两年的互联网广告工作经历,期间先后参与过user profile挖掘、实时竞价算法、ctr预估等多个核心项目,对RTB、DSP、DMP中的相关技术有较好的理解和认识,积累了丰富的经验。2013年初加入美团网,主要负责美团个性化推荐系统的构建和优化,通过完善召回算法和引入重排序模型等大幅度提高了系统的转化率。

美团作为全国领的本地生活服务平台,在本地生活服务推荐领域已经进行了一些探索,这个分享主要是对这些探索的一些总结。我们看到本地生活服务领域的推荐需要重度使用传统的推荐算法,同时也存在很强的特色。例如,在本地生活服务领域,商户的地理位置对用户的决策影响很大,针对这点我们做了大量基础工作。下面我们一同看下美团是如何实现个性化推荐的。

一、推荐美团的原因

1.活跃用户过亿,移动端交易占80%以上。

图1.美团移动交易占比逐年变化树状图

2.推荐方式:

◎推荐产品:10+推荐产品,每天服务 30M+ 用户

◎推荐形式:User2Items、Item2Items、Personal push、Others

◎推荐实体:

图2.美团推荐实体选用

◎推荐平台:Mobile、PC

◎其他方式:购买完成,评价完成,搜索无结果,附近团购,相关团购

 

 

图3.美团其他推荐方式

 

二、美团如今所面临的问题

1、用户购买与消费的空间距离很小

 

图4.分品类持券80%距离

 

2、用户购买与消费的时间差很短

图5.分品类持券时长

3、用户场景时刻在变化

如:地理位置不断变化,用户需求随位置而变,推荐的内容要适配这种变化等

4、用户行为稀疏,粘性不够强

相邻两次访问的时间间隔长,新用户流失比例高,生命周期偏短

5、数据多,用户请求量大

每天要处理的数据达到T级别,每天千万级的用户,上亿次请求

 

三、应对方案

针对上述诸多面临的问题,可采取如下等方案进行应对,如:强化地理位置特征;提高算法实时性;算法融合,个性化push;框架优化等。

1、地理位置

(1)对于地理位置的维度,可以通过实时地理位置、常去地理位置、工作地、居住地、消费地等位置信息进行确认。

(2)地理位置直接触发

     离线:挖掘区域消费优质deal和区域购买优质deal

 

图6.地理位置触发示意

在线:获取用户的地理位置信息,对区域deal列表进行加

(3)根据用户的地理位置轨迹计算用户相似度,与协同的用户相似度叠加权

   算法示意:

User1:geo1:count1;
geo2:count2; geo3:count3 …

 

User2:geo1’:count1’; geo2’:count2’; geo3’:count3’ …

图7.算法示意地理位置信息

 

(4)基于消费poi的相似度计算

     
Deal中包含的地理位置信息较弱

     
Poi同时包含了用户的偏好与商圈倾向

 

图8.poi的相似度计算图示

(5)作为重排序模型的特征

     用户实时地理位置与deal所在poi的最近距离

     用户常去地理位置与deal所在poi的最近距离

     用户消费地理位置与deal所在poi的最近距离

2、实时推荐

对于实时推荐由于用户场景经常变化,需求随之而变;离线计算好结果的推荐方式适应性差;每次请求都要实时计算。

(1)实时数据流

图9.实时行为:搜索、筛选、收藏、浏览、下单

①算法使用新的用户行为数据进行推荐

未转化行为实时反馈至推荐结果

图10.实时数据流程图

②算法准实时更新

    Itembased cf 小时级更新

    看了又看:6%+ 提升

Userbased cf 准实时更新

增量计算

    4小时更新一次

(2)实时rerank

  ◎子算法计算出来的权重考虑的因素太少

  ◎不同子算法的权重不具有可比性

  ◎模型选择

    线性、非线性结合

  ◎特征

    deal维度的特征

    user维度的特征

    user、deal的交叉特征

    距离特征

  ◎在线特征抽取,模型实时计算

在线学习算法FTRL

 

(3)算法融合&push

①算法融合包括:

  加权型:对各个算法产生的候选集按照权重进行加权

  分级型:优先采用效果好的算法,再使用效果次好的算法,依此类推

  调制型:不同的算法按照不同的比例产生一定量的候选集组成总的候选集

  过滤型:当前的算法对前一级算法产生的候选集进行过滤,依此类推,候选集被逐级过滤,   

         最终产生一个小而精的候选集合

②个性化push

  用户相邻两次访问间隔长

  触及更多的用户,提升日活用户数

  不能过度打扰用户

最初的做法:用户拉取;Push时机不可调;系统压力大;不能实时推荐

改为push以后:根据用户的历史联网时间确定push发送时机,根据用户的实时定位发送,

发出率提高24%,打开率提高21%,综合转化率提高94%

(4)框架优化

图11.框架优化示意图

 

图12.海量数据处理示意图

 

随着日益增长的用户请求,将业务进行拆分,较重的业务独立出来;采用多算法并行;建立统一数据模型,减少冗余请求。

运用触发层与排序层分离;模型训练并行化;参数实时加载,支持快速调参达到快速的效果迭代。

 

 

整个优化方案将地理位置因素的引入:解决用户冷启动和稀疏性,提高推荐精度;

将候选集进行融合:提高了推荐的覆盖度、多样性;引入重排序模型:解决了候选集增加以后deal之间排列顺序的问题。我们争取以数据为基础,用算法去雕琢,发现问题并进行修正,运用良好的基础架构,高效的算法迭代,发挥团队的力量。

PPT http://club.alibabatech.org/resource_detail.htm?topicId=186

 

时间: 2024-11-01 12:09:38

美团生活服务个性化推荐实践的相关文章

【2016快乐】独家12篇技术干货:阿里云、微博、搜索、美团、美丽说、推荐、小米、支付宝...

特别策划第一集: 12篇实战经验所组成的"近战"系列(文章.PDF和视频),包含新浪微博.淘宝搜索.美团.美丽说.淘宝推荐.小米.支付宝.阿里云.淘宝无线在内,涵盖建模.个性化推荐.排序学习.系统优化.数据监控.流量优化.架构探索等多方面一线经验总结. 1.<手机淘宝推荐中的排序学习>  2.<基于微博用户关系和行为的用户建模>  3.<移动电商搜索个性化技术>  4.<美团生活服务个性化推荐实践>  5.<美丽说个性化推荐技术&g

基于网站用户浏览行为分析的个性化推荐服务综述

中介交易 SEO诊断 淘宝客 云主机 技术大厅 互联网在上个世纪90年代开始普遍民用,发展至本世纪初,己经发展成为一个蕴含各个领域的.巨大的.分布广泛的.全球性的信息交换与共享平台,同时它也成 为人们获取信息的一个重要途径.至此,人们已经不愁找不到自己需要的信息.但是由于现在Web上信息的海量性.动态性.非结构性和无序性等特点,使得人们 要从Web上获取自己所真正需要的信息变得非常的困难,有时甚至感觉如同大海捞针.Google.百度和Yahoo等公认比较优秀的搜索引擎将网络资源进 行了一定的组织

当位置服务遇上个性化推荐

对于移动互联网应用而言,除了传统互联网所积累的海量信息.各种丰富应用可供使用外,移动互联网本身也生产了海量的内容和应用,怎样准确识别用户的喜好并在此基础上向用户推荐最相关的产品.服务.信息是解决所谓"信息超载"问题的有效手段之一. 不管是基于内容过滤(Content-Based filtering ).基于协同过滤( Collaborative filtering )的个性化推荐技术,基于互联网的个性化推荐基本上还是基于用户行为历史(购买行为.点击行为.收藏行为.点评行为等)+当前内容

Foursquare发5亿次签到地图展示个性化推荐服务

腾讯科技讯(小贝)http://www.aliyun.com/zixun/aggregation/17197.html">北京时间1月19日消息,据国外媒体报道,移动地理位置服务商Foursquare日前发布了该服务过去三个月产生的5亿次签到的地图,这不仅仅是用户曾经签到地点的集合,而且是Foursquare打造个性化推荐服务并挑战Yelp的纽带. Foursquare的这种做法在业界属于独一无二,它并不是要求用户从一开始就对某个地点进行评分或发表评论,而是提供了一种游戏性质的签到方式,用

云计算环境下可信服务的个性化推荐框架

云计算环境下可信服务的个性化推荐框架 马华 胡志刚 张红宇 小型微型计算机系统 2014年05期 云计算环境下可信服务的个性化推荐框架

美团O2O模式将打造生活服务平台新入口

记得有人说过,团购产品的模式过于简单,可复制性太强,只要有钱就能做起来.这句话放到4年前也许是正确的,但是在经过"千团大战"后,团购市场已经被美团为首的几家寡头垄断瓜分,显然今年无疑是团购行业最终的洗牌年,团购网站都纷纷经历了与巨头整合或者融资,所以当前的团购大战无论是产品形态还是企业战略都会再是拉商户或拉用户这么粗暴,而借助O2O完成对自身优势的强化并进军三四线城市已经成为美团网今年的新主题. 据易观智库发布<3721.html">2014年8月中国团购市场统计

[推荐系统]个性化推荐的十大挑战

个性化推荐经常被人误解为细分市场和精准营销这两个概念.虽然它们之间有一些联系,但实质上却相差甚远.本文不仅清楚地讲述了个性化推荐技术,更列出了其所面临的十大挑战. 很多人都知道个性化推荐,却有不少认识上的误区.有的人认为个性化推荐就是细分市场和精准营销,但实际上细分市场和精准营销往往是把潜在的用户分成很多群体,这与基于全体的统计相比固然有了长足的进步,但距离"为每一个用户量身定做的信息服务"还有很大的差距,只有做个性化才能实现亚马逊CEO Jeff Bezos的梦想"如果我有

个性化推荐技术究竟面临着哪些挑战?

个性化推荐经常被人误解为细分市场和精准营销这两个概念.虽然它们之间有一些联系,但实质上却相差甚远.本文不仅清楚地讲述了个性化推荐技术,更列出了其所面临的十大挑战. 很多人都知道个性化推荐,却有不少认识上的误区.有的人认为个性化推荐就是细分市场和精准营销,但实际上细分市场和精准营销往往是把潜在的用户分成 很多群体,这与基于全体的统计相比固然有了长足的进步,但距离"为每一个用户量身定做的信息服务"还有很大的差距,只有做个性化才能实现亚马逊CEO Jeff Bezos的梦想"如果我

CCAI | 香港中文大学张胜誉:个性化推荐和资源分配在金融和经济中的应用

在大会的智能金融论坛上,香港中文大学计算机系副教授张胜誉发表了<个性化推荐和资源分配在金融和经济中的应用>主题演讲. 张教授的分享主要包含三个方面: 基于实例简要分享了 AI 在金融中应用的概况,比如用人工智能来对金融做各种技术服务,当用户量达到一定规模之后,可能会需要机器人客服,和生物特征识别.这些应用可以让企业降低成本,提高效率和准确率. 当前,个性化推荐存在尝试推新和利用已有经验之间的平衡:新闻的快速更新:非常有限的信息反馈等难点,对此,一个方法是通过 Contextual Multi-