阿里云机器学习平台使用——协同过滤推荐算法快速应用

标签： 数加

概述

PAI机器学习平台是构建在阿里云ODPS计算平台之上，集数据处理、建模、离线预测、在线预测为一体的机器学习平台。 该平台为算法开发者提供了丰富的MPI、PS、BSP等编程框架和数据存取接口，同时为算法使用者提供了基于Web的IDE+可视化实验搭建控制台。平台目前整合了阿里集团内最先进的算法，为用户提供算法服务。

今天做了一件事情来体验PAI，就是拿最经典的电影推荐场景来做协同过滤算法的测试。

数据准备

电影数据来源于http://grouplens.org/datasets/movielens/，本文的例子采用最小的数据集——MovieLens 100k，总共有100,000个评分，每个评分都是在 (1-5)范围内，供有943个用户对1682部电影进行评分。movielens最新的数据已经扩大了好多，有兴趣的同学可以去实验。

工作流开发

1. 在数加DataIDE里建立一个工作流：电影预测。我们为这个工作流来搭建一个框架。
2. 添加第一个节点，一个ODPS SQL节点，命名为data_prepare，准备预测的输入输出数据。
3. 添加第二个节点，一个机器学习节点，命名为recommend，这个节点用来关联PAI平台的算法工作流。
4. 添加最后一个节点，另一个ODPS SQL节点，命名为view_result，用来查看推荐结果数据。

工作流组成如下：

data_prepare节点的代码如下：

CREATE TABLE IF NOT EXISTS movie_data (
    user_id STRING COMMENT 'user id',
    item_id STRING COMMENT 'movie id',
    rating BIGINT COMMENT 'rating',
    rating_timestamp STRING COMMENT 'rating timestamp'
)
LIFECYCLE 33;

CREATE TABLE IF NOT EXISTS movie_recommend_output (
    item_id STRING COMMENT 'movie id',
    recommend_list STRING COMMENT 'recommend list'
)
LIFECYCLE 33;

这里说明一下，movie_data是输入数据表，就是movielens的100k数据集。movie_recommend_output是协同过滤算法的输出数据表。

建完表后很重要的一步是把数据添加到ODPS里，当然方法有上千种，最简单的一种就是直接通过DataIDE提供的数据上传功能。
点击这个红圈里的小图标就能看到了。

选择导入本地数据，将之前下载好的movielens 100k的目录里的u.data文件上传（这里需要注意的是DataIDE不识别.data后缀的文件，需要将文件rename到u.txt就ok了）。后面选择tab分隔，首行不导入，点击下一步就可以导入到对应的表了。

view_result的代码如下：

SELECT *
FROM movie_recommend_output
LIMIT 10;

算法workflow

框架搭好了，数据也准备好了。最关键的体验时刻到了，我们来看看PAI究竟是如何玩算法的。
点击DataIDE上方的“机器学习平台”打开平台，进去时候需要选择租户。浏览一下，一个基于画布组件拖拽的界面展示在眼前。

第一步要建立一个实验，本文建立一个实验叫做rec_test。

一个最简单的算法工作流也要包含几个步骤：
1. 数据输入
2. 算法运行
3. 数据输出

数据输入我们先从左侧导航栏里拖一个“源/目标”组件——“读ODPS表”到画布中，点击组件，在右侧配置表名——刚才已经在DataIDE加工好的movie_data。

接下来从左侧“机器学习”-“关联推荐”里拉一个“协同过滤etrec”组件到画布中。点击后在右侧配置协同过滤算法需要的参数。

etrec是阿里巴巴集团搜索算法团队开发的运行于ODPS上的基于商品的协同过滤算法。
etrec接受一个两列或者三列的表输入，也就是inputTableName为两列或者三列，对应inputColNames为两列或者三列也可。如果是三列的情况下，要求第三列为数值类型。
第一列对应user，第二列对应item，第三列对应payload。输出表第一列对应main item, 后续的列对应main item的topN个推荐item list。这个list以kv形式存储。两个kv之间用','分割,k-v之间用':'分割。

对etrec有兴趣的同学，我们可以后续邀请etrec的作者将更多的内容输出到。

首先要配置etrec算法的输入，要选择user-item-payload形式的字段。

然后配置参数，为了简单，我修改了默认top 2000的输出，修改为10。

最后拉一个“写ODPS表”的组件到画布中，用来将推荐的结果写到表里。这里表名就配置刚才提到的输出表：movie_recommend_output。

把他们都串起来后，点击屏幕下方的运行，一个算法的workflow就开始运行了。

运行ok后，回到DataIDE，在recommend节点里将rec_test的实验配置进来，同时运行view_result查看数据，发现数据已经算好。

配置IDE里的机器学习节点：

最后view_result查询结果如下：

一切结束。

总结

通过这个例子，我们看到，通过阿里云数加大数据平台做机器学习是个非常容易的事情。欢迎大家多体验PAI平台给算法应用带来的便捷。