阿里云数加案例-美柚

阿里云数加案例-美柚



美柚以让女人更美更健康为己任,致力成为最懂女人的互联网企业;美柚很早就将大数据作为了解女人、读懂女人、服务女人的最重要利器。大数据在美柚的应用非常广泛,然而在美柚大数据之路的初期,遇到了不少的困难和挑战:
1. 平台成本高:我们粗略的算过这笔账,数加比我们自建的成本要节省30%左右
2. 扩展性不好:不仅需求提前预见新业务也需要预估资源的消耗量,从而提前申请足够的资源,而数加则可以随时购买所需的资源,甚至可以按量付费,完全不需要担心资源不足的问题
3. 运维成本高:自建平台需要自己去做很多的配套,例如权限控制、调度、监控、报警,当任务量和数据量到达一定程度时,复杂度成倍增加,不能很好的集中精力解决业务需求。
4. 易用性:数加提供了数据血缘、任务依赖等实用功能,可以让非数据开发人员(例如数据分析师)快速的找到自己想要的数据
5. 数据应用:提供机器学习算法平台和推荐引擎大大降低了机器学习的门槛,不必关心代码实现,只需要配置相关的参数即可。

关于美柚

厦门美柚信息科技有限公司,创始于2013年4月,是一家专注为女性服务的互联网公司。秉承“让女人更美更健康”的理念,美柚以经期管理为切入点,为女性提供备孕、怀孕、育儿、社区交流等功能服务。目前,美柚用户超过1.5亿,日活跃用户近千万,拥有约160个高活跃的女性话题圈,社区内用户日均互动量超500万帖,日均浏览量超过1.8亿次。
在艾瑞、易观、TalkingData、QuestMobile等第三方机构发布的研究报告均显示,美柚在总用户数、活跃用户数、日均使用时间等关键指标方面远远领先于同类产品,是国内最大的女性健康管理应用,也是移动端最大的女性社区。
美柚大数据团队在对内服务好美柚女性用户的同时,积极举办和参与大数据技术沙龙, 同时参加各种国内重量级大数据峰会例如在阿里云栖大会上分享美柚的大数据架构和应用,影响和带动厦门大数据圈。

挑战

美柚以让女人更美更健康为己任,致力成为最懂女人的互联网企业;美柚很早就将大数据作为了解女人,读懂女人,服务女人的最重要利器。这就要求我们大数据团队需要做好数据治理这块,将零散的日志和业务数据通过科学的方法,将其规整起来,形成合理易用的数据仓库;只有做好数据仓库,才能方便的提供各种数据服务。

为什么使用数加

美柚创始于2013年4月,而在2014年初就组建了大数据团队。当时也是自建了一套大数据平台,当时面临最大的几个问题:
1. 人手不足,经验不足:当时大数据开发团队就3个人,而且还没什么大数据开发经验,对于hadoop及大数据生态等只是停留在理论阶段,并没有什么实操的经验;
2. 时间紧任务重:由于当时美柚处在高速发展的阶段,对大数据的渴望异常强烈,然而大数据平台处在建设的初期,各方面还不太完善,需要同时应付:数据平台的建设,数据仓库的建设,业务数据需求;
3. 平台不稳定:开源的hadoop系统并没有完善的周边配套,例如代码版本控制,资源权限,任务调度,任务监控,失败报警等功能,往往需要等早上发现数据没出来,或数据有问题的时候再一步一步的排查问题,用户体验非常不好,经常遭到业务部门的投诉。

2014年底,美柚从阿里那边请来了一个产品总监,了解到我们的大数据团队的痛点之后,给我们推荐了数加。经过我们调研试用后感觉能够解决我们的痛点,因此决定转向数加平台。

解决方案及架构


这是我们DMP的架构,目前数加主要是数据ETL以及数据的导入导出这块。具体ETL的架构如下

上图的datax就是数加的数据集成部分
数据仓库MaxCompute内部分层如下

收益

  1. 几乎零运维,极大的降低大数据的使用门槛。所有的代码管理,调度,监控,报警数加都已经帮我们做好了,我们要做的就是使用它。这样我们可以更专注于数据开发,专业的事要交给专业的人做。
  2. 数加的数据集成工具能够很方便将不同的数据源的数据,进行导入导出,基本实现常用数据源的全覆盖,从而实现大数据的全链路打通。
  3. 方法论的支持。我们遇到的一些问题,其实阿里云之前也遇到过,他们沉淀了一些解决问题的方法能够让我们有效快速的解决遇到的问题。
  4. 云栖大会和上有不少解决实际问题的案例,也有不少新技术,新理念的介绍,能够拓宽我们的视野。
时间: 2024-12-19 20:16:02

阿里云数加案例-美柚的相关文章

阿里云·数加“公众趋势分析”怎么用?大厨带你做测评!(内含娱乐圈案例分析)

小组成员:林济源 吴开元 张涵 文/编辑: 林济源 公众趋势分析:https://data.aliyun.com/product/prophet  原价50400元/年 秒杀价69元/年 每天100笔订单 阿里云·数加的数据应用--公众趋势分析已悄然上线,其在网站上把自己描述为"基于全网公开发布数据.传播路径和受众群体画像,利用语义分析.情感算法和机器学习,分析公众对品牌形象.热点事件和公共政策的认知趋势." 不仅如此,公众趋势分析原来还是阿里小ai的一只"眼睛",

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

  数加大数据直播系列课程,主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题,分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台.   本次分享嘉宾是来自阿里云大数据的技术专家祎休!   背景与总体思路   数据仓库是一个面向主题的.集成的.非易失的.反映历史变化的数据集合,用于支持管理决策.其结构图如下所示:     随着大数据.云计算等技术的应用和普及,互联网环境下数据处理呈现出新的特征:业务变化快:数据来源多:系统耦合多:应用深度深.业务变化

小议阿里云"数加"平台对企业有何帮助?

文章讲的是小议阿里云"数加"平台对企业有何帮助,阿里云发布大数据平台"数加",让DT时代不再只是阿里巴巴鼓吹的一个概念,而是实实在在的落地了!通过数据倒推本质,意味着一个新的时代来临,而这对企业和个人开发者又意味着什么? 1月20日,阿里云在2016云栖大会上海峰会上发布了一站式大数据平台"数加",工欲善其事必先利其器,首批亮相的就有多达20款产品,覆盖数据采集.计算引擎.数据加工.数据分析.机器学习.数据应用等数据生产全链条. 阿里云大数据事业

Serverless理念的弄潮儿—— 阿里云数加平台助力大数据普惠

免费开通大数据服务:https://www.aliyun.com/product/odps 阿里云坚持将计算能力变成像水电煤一样的公共服务,提供给大众,而非单单而不是卖服务器给客户,这跟今日流行的Serverless 架构理念是一致的.Serverless 理念在数加平台得到了很好的体现,数加平台今天已经可以提供很多业务场景化的计算服务,比如推荐引擎,规则引擎,以及各种人工智能的服务,助力企业在DT时代更敏捷.更智能.更具洞察力.在本文中,班输从数据平台简介.大数据应用特点.数加平台Server

王宝强离婚成了谁的狂欢?——通过阿里云·数加严肃解读数据背后的媒体传播路径

文/林济源 北京大学深研院  2016年8月14日凌晨,正当许多夜猫在为奥运会损耗青春的肉体,一条突如其来的微博推送想必让无数人倍感精神,似乎拥有"上帝视角"的每个他或她已成为暗夜里的裁判,义愤填膺地点评其中的"背叛"."阴谋"."道德"."财产". 第二天,宝宝的离婚门继续发酵,与"张继科内裤"为代表的奥运热点一起包揽了微博热搜的前十,而从搜索量就可知其不在一个量级. 无耻的是,朋友圈

阿里云数加产品家族图首次亮相

数加就是阿里云专业搞大数据各种神器的产品大家族其实技术型产品也没辣么难懂,一层各种形式计算完给到二层做数据展现&算法加工,三层通过各种算法延展粗各种数据应用.您买间屋也行,买一层可以,要是高兴买整栋楼都随您意! 数加官网访问地址:https://data.aliyun.com/ 高清图下载地址 [全球独家首发]阿里云数加大数据产品手册V1.0(纯附件) 陈鹏宇分享主题-数加:迈向数据智能之路 数加与客户的故事 借助数加,原来需要2-3天的单维度数据处理时间,目前仅需3-6小时,研发周期更短,产品

万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛

DT时代,越来越多的企业应用数据步入云端.与传统Hadoop相比,阿里云数加MaxCompute(原名ODPS)向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全. 比如东润环能在3个月内业务全面交付云端,数据处理时间不到原来自建方式的1/3,并确保云上数据安全无忧.墨迹天气日志分析业务迁移到数加MaxCompute后,开发效率提升了超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个

阿里云数加合作伙伴-袋鼠云获A轮融资,成立一年半获三轮投资超亿元

创投市场再次风起.2017年7月,袋鼠云宣布,获得来自戈壁创投主投.元璟资本跟投的A轮融资,相对于当前冷淡的投资市场,此举也再次引发了行业对大数据.云计算技术创新企业的关注.据袋鼠云CEO陈吉平(花名:拖雷)介绍,获得的资金将投入到三个方面:数据智能产品研发.高端数据智能人才的引进和培养.袋鼠云品牌打造和市场推广.   袋鼠云是杭州玳数科技有限公司旗下品牌,成立于2016年,是一家由多名前阿里巴巴资深技术人士创立的技术服务公司,主要业务聚焦大数据使用场景研发,深耕DI(Data Intellig

阿里云数加(大数据)公开数据集(公测ing)

目前阿里云大数据产品已经免费向全部用户开放了多种公用数据集.在此之前,获取,分析,下载自定义的大型分析数据集需要数小时乃至数天才能完成. 而现在阿里云的任何用户都可以通过基于大数据计算服务[MaxCompute](https://www.aliyun.com/product/odps) 的大数据开发套件[DataIDE](https://data.aliyun.com/product/ide)快速.便捷的分析这些公用数据集. 开通MaxCompute&大数据开发套件的教程参考:https://h