当今互联网行业产生的数据量越来越多,导致消费者面临海量内容时很难轻松选择。在之前业界发展中,经常采用两种方式:一是通过搜索方式输入关键词查找所需物品;二是通过运营的手段,以用户可以理解的分类导航的方式来实现物品的发现。这两种方式在互联网发展的初期十分有效。但随着物品数量呈几何式增加,用户发现信息的成本越来越高。例如在关键词搜索场景下,往往用户也不清楚自己需要搜索什么样的关键词;此外物品的属性也越来越复杂,一个物品往往很难定位为属于哪一个特定分类。因此,减少用户快速发现物品的成本和提高用户体验就显得越为重要。
图一 个性化推荐概述
随着技术的不断进步,目前新生的个性化推荐方式结合算法和用户的行为轨迹,计算出用户偏好商品,当用户在访问内容相关页面时,第一时间向其展现这些偏好物品。通过这种方式,缩短用户发现物品的过程,提升用户在网站或者手机应用的留存率;同时也促进了转化率的提升;此外还可以将运营人员从繁杂劳动中解放出来,发挥更大的价值。
图二 越来越多的企业使用个性化推荐
个性化推荐可以使企业聆听消费者的需求,在此基础上预测他们未来的需求,提供个性化服务,达到吸引顾客的目的。但并非全部的企业客户都适用于个性化推荐,适合适用个人化推荐的客户应该满足以下几点:
- 有较多内容或物品满足消费者差异化的需求;
- 有较强的销售转化意愿;
- 有较度的用户行为数据。
下图给出了参考的建议值,达到所述标准,算法才有可能帮助企业的推荐带来效率上的提升。
图三 适用个性化推荐的参考值
如何衡量推荐系统-宏观角度
图四 宏观角度衡量推荐系统
在2006年之前,业界主要衡量推荐系统的标准是商业目标,例如能够给企业带来足够好的成交转化率,就是一个好的推荐系统。现在来看,这个目标过于单一。因为推荐系统是一个很复杂的工程,首先界面交互决定了吸引哪类消费者查看所推荐的内容;第二个是数据质量,是否采集了必要的数据,在对数据加工处理后能否剥离出可被推荐算法所用的数据。如果数量采集得很少,或者本身数据清洗得不够的话,推荐算法的效果就大打折扣。数据质量的好坏决定了一个推荐系统推荐效果的上限;第三个是对领域知识的理解,例如根据产品的定位决定采用强个性化推荐还是弱个性化推荐,有哪些业务规则等等;第四是模型算法方面,包括数据的解析,用户画像或者物品画像的构建,要达成的业务目标等。
下面结合电商业务来做进一步的讲解:
界面交互,例如淘宝网和天猫的首页或者详情页,很多地方都做了个性化的设计,界面是用户能触达推荐系统的关键一环,良好的引导和优美的文案图片是制胜的关键;数据质量方面,可以针对业务特点建立对应的数据体系,例如构建用户中心、兴趣图谱和地理位置中心。整个数据体系需要建立在一个统一的ID的基础之上,用户通过不同的终端使用产品时,不同设备上的ID是不同的,这就需要统一的ID打通,才能够建立一个用户在不同设备上的全息画像;兴趣图谱建立需要知识领域的积累,同时还需要结合个人长期或者短期、是已满足或者未满足的一些偏好,因此需要有强大的机器学习平台做支撑。
数据体系建立完成后,在营销层面就可实现消费者的画像分析,除了用于BI的业务发展趋势报告,同时也可指导运营策划活动,或者对推荐算法做进一步反馈优化。
实现个性化推荐的客户面临的痛点
虽然推荐系统能够帮助企业取得成功,然而企业开发推荐系统也并非易事。
图五 实现个性化推荐的客户面临的痛点
首先,个性化推荐的系统和算法实现都很复杂,人才培养成本较高;其次,在缺乏一定专业能力的情况下,推荐系统投入业务线之后可能效果不佳;此外,如果完全采用第三方开发的推荐系统,往往数据资产被输送给了第三方,并且由于第三方推荐算法是黑盒服务,企业还难以参与效果优化,自身数据团队的成长受限。
阿里云推荐引擎
图六 阿里云推荐引擎
基于阿里云的个性化推荐产品--阿里云推荐引擎可以帮助企业避免上述痛点。一个完整的推荐系统的核心包括前台展现、日志系统和推荐算法系统。阿里云推荐引擎的定位是承担核心的推荐算法系统。前台展现和数据采集由企业自行完成。这样一来,需要较强业务理解的前端由企业自控;同时日志的采集完全由企业自行完成,不仅掌握数据资产,同时也保障了重要数据的安全性,此外还利于企业培养自己的数据团队。通过推荐引擎与企业自身原有的系统无缝组合,很快地完成推荐系统的搭建。总结来看,该推荐引擎具有以下优势:
- 不会算法也能做优化,推荐引擎的推荐算法流程白盒化,即便是不懂算法的业务人员也可以参与配置;
- 算法开放,支持企业融入自己的算法,进行效果调优;
- 接入简单、快速,通过提供在线、实时、AB测试等工具化能力,可快速实现APP/网站个性化功能,节省90%的程序量;
- 数据安全,客户的数据由客户自己管理。
推荐策略
目前推荐引擎的推荐策略是基于对产品功能和概念理解的基础之上,每一个业务场景下,都有一套独立的算法流程。
图七 无线个性化场景示例
例如上图所示的天猫双十一的无线个性化场景,每一个白色的小方块都代表着不同的业务场景,背后推荐算法逻辑都完全不同。
此外,该推荐引擎背后从数据模型建立到算法模板选择,有着一套建立推荐系统的标准规范。
推荐引擎的基础数据模型
图八 推荐引擎的基础数据模型
推荐引擎向企业提供了一套基础数据采集规范。在用户类数据中,需要建立用户信息表和用户属性维度表;在物品类数据中,需要建立物品信息表、物品属性维度表和可推荐物品表;在行为类数据中,需要建立用户行为表。
推荐算法模板
该推荐引擎还提供了一些现成的推荐算法模板,包括猜你喜欢、热门排行、购物车和订单页推荐模板等。猜你喜欢这个模板的算法流程如下图:
图九 猜你喜欢模板的算法流程
该模板是由一套复杂的算法流程实现,整个完成过程是由多个算法协同工作。首先,该模板基于用户的特征,建立用户画像;其次,对所推的内容建立物品画像;建立完两个画像之后,通过协同算法和矩阵分解算法,计算出来每一个用户对不同物品的每一个属性的各自偏好;得出全部偏好之后进行一次合并;合并之后,在人的身上除了自己的基本属性之外还具有一些物品的属性,在物品之上除了物品的属性还有人的属性。如果一个消费者经常购买苹果的产品,就可以给其打上苹果的标签;相对应的一个苹果电脑,其大部分购买者处于20-30年龄段,就可以在该电脑物品上打上适合20-30岁的标签。计算完上述特征之后,再结合物品相似或者人群相似算法,得出针对每一个用户的推荐结果;该推荐结果再根据重排序算法,产生最终用来做推荐的结果。该模板中主要涉及的特征抽取、兴趣评分、矩阵分解、相似计算优化、协同过滤等算法。
此外,该推荐引擎提供了一套自定义算法规范,用于企业的算法工程师编写自定义算法。
产品操作
图十 产品操作过程
使用者可以通过五个步骤,轻松实现个性化推荐:首先开通服务;然后再上传数据,同时配置推荐场景算法;推荐引擎运行之后,通过API对接,得到推荐结果;同时还支持在线的报表查看。
后续计划
针对该推荐引擎,后续的工作重点在于简化基于规则的推荐,更好的集成业务和运营积累的知识;同时针对不同的场景提供更多的的算法模板。
分享者简介:于军,阿里云大数据产品专家