MaxCompute多项目管理最佳实践
背景介绍:
厦门美柚科技有限公司，创始于2013年4月，是一家专注为女性服务的互联网公司。秉承“让女人更美更健康”的理念，美柚以经期管理为切入点，为女性提供备孕、怀孕、育儿、社区交流等功能服务。目前，美柚用户超过1亿，日活跃用户近千万，拥有约160个高活跃的女性话题圈，社区内用户日均互动量超500万帖，日均浏览量超过1.8亿次。之前各种数据开发、数据支持、数据挖掘都在同一个项目中,随着公司业务线的不断扩充,规模的不断壮大,参与大数据开发的部门(团队,人数)也越来越多,单项目的弊端慢慢显现出来:
发现弊端:
- 权限管理混乱,任务和数据经常被他人修改、覆盖
- 开发人员众多,水平参差不齐,任务依赖比较混乱,一旦有任务失败,会导致多条业务线无法正常产出数据
- 争抢计算资源,导致重要任务因抢不到资源无法如期完成
- 由于人员众多数据权限设置不规范,常常都是赋予较高的角色权限,风险比较高
- 各团队成本核算问题,无法准确评估各个团队所占用的资源情况
基于以上的种种弊端,经评估决定引入多个项目,先来个整体架构图
多项目架构图:
这样子各个团队都有自己的项目,自己管理自己的项目,优点就很明显
优点
- 通过项目隔离,有效的防止数据和任务被其他团队修改和删除等问题
- 除非是pro项目任务出错,否则不会影响到其他业务线的任务,最大程度降低各业务间的影响
- 针对不同的项目可以配置不同的收费策略:例如mining项目,可能只有当做数据挖掘的时候会消耗大量的计算资源,而通常可能一周才会训练一次;因此按量计费会比较划算,也避免抢占其他项目任务的资源(计量计费说明参看:https://help.aliyun.com/document_detail/27989.html?spm=5176.doc35455.6.557.7aee7V)
- 各个项目的资源独立计费,每个团队的资源消耗情况如下图各个项目所使用情况一目了然
- 各个项目由各自团队管理,减少项目管理员的工作量,并且可以根据各自团队的实际情况细分权限
虽然有以上这些优点,但是同时也会带来其他的不便
待解决问题
项目间的数据表,资源,udf共享(主要还是读操作)
解决方案
现在介绍如何解决跨项目带来的不便:
MaxCompute有个package的概念,现在我就通过命令行的方式向大家介绍如何通过package来解决跨项目的共享问题:以pro项目中的Table共享给其他项目:BI为例(其他项目类似)
操作步骤
- 在pro项目中创建1个package (可根据实际情况创建,我这边是创建3个package:tables_package,functions_package,resources_package) 命令是:
use pro ; create package tables_package;(以下以tables_package为例,其他的类似) - 往tables_package中添加数据表(function,资源):
add Table ** to package tables_package ;( add function ** to package function_package ; | add resource ** to package resources_package ;) - 在pro项目中允许其他(BI)项目install package 包:
allow project BI to install package tables_package; - 在BI项目中,安装package tables_package 包:
use BI ; install package pro.tables_package ; - 在BI项目中,授权给用户或角色:
use BI ; grant read on package pro.tables_package to user aliyun$odps_test@aliyun.com;(具体授权可以参考MaxCompute官方帮助文档:https://help.aliyun.com/document_detail/27935.html?spm=5176.doc27807.2.6.D6aL6R) - 在B项目从查询tables_package所包含的表、资源、UDF:
desc package pro.tables_package; - 在B项目中使用pro项目的表,udf:
select pro:udf() from pro.table where **** ;udf调用时项目名加冒号pro:udf(),表调用时项目名加点pro.table.
需要注意的是: 第5项这样是针对特定的人或角色,我们目前的做法是将pro项目下的表和udf以只读的方式共享给其他的项目的所有成员,因此可以通过Policy授权的方式统一授权只读权限给B项目下的所有人(policy相关的官方文档:),方法如下:use BI; install package pro.tables_package; put policy /tmp/policy.txt;
/tmp/policy.txt内容如下：{
"Version": "1",
"Statement": [
{
"Effect": "Allow",
"Principal": "*",
"Action": "odps:Read",
"Resource": [
"acs:odps:*:projects/BI/packages/pro.functions_package"
]
}
]
}
待改进
最后在这提出一点可以改进的地方:
- 在pro项目中新增表的时候,希望能够自动add到对应的package里,免得每新建一张表就得再执行
add table *** to package *** ;
以上是我们厦门美柚科技有限公司在管理MaxCompute项目的一个最佳实践,欢迎有兴趣的同学互相交流
最后要感谢阿里云的MaxCompute团队给我们提供这样的大数据平台,特别要感谢云郎和海清,求助于他们才得以顺利解决跨项目的数据和资源的共享问题.