依托MaxCompute构建零售快消品行业数据仓库

利用MaxCompute,五叶草为某世界500强快消品零售巨头搭建了企业级数据仓库。由于部分子系统未打通、业务逻辑繁杂,客户的业务分析工作主要在线下人工完成,分析时间长、统计口径不一、数据质量参差不齐。在将数据存储在MaxCompute后,依托其强大的海量数据处理能力,原先需要花数小时更新的报表只在10分钟左右即可完成,有效降低了时间人力成本,提升了工作效率,使客户可以将更多的精力投入到业务升级中去。

在MaxCompute中我们定义了如下的各层数据模型:

 

1.     
数据接口层

数据接口层的数据结构应该对应源系统。应当注意的是同步的源数据要避免使用视图,在客户的生产环境上曾经出现过这样的情况:由于存储过程优化不好,同步视图在同步任务发起后仍然没有生成出来,导致同步任务及后续的ETL挂起。所以后续通过客户和第三方接洽,将数据源从视图换为表。

2.     
基础数据层

所有清洗、整合、运算工作应当放在基础数据层,避免对同步表里数据进行操作。以增量更新基础表为例,通过使用下面的方法,我们实现了每天增量更新数据到全量基础表的新分区,当天增量与昨天全量合并,数据存在冲突时优先保留增量记录

其中dwd_dummy_data为全量基础表,存放昨天的全量数据;ods_dummy_data为增量同步表,存放今天的增量数据。

由于数据更新之后插入了新分区,保留的基础表原始数据就为后面数据比对提供了极大的便利。客户部分数据源是由其他第三方维护的,出现过本月客户及该第三方协商对上月数据进行了修改,但是没有将该操作告知我们,最终导致上月月报结果与客户BI部门统计有出入。通过与客户提供的数据比对,我们发现了原始数据不一致的地方,我们在测试环境中对历史数据复现了相同的操作,并重跑了之后的任务,最终上月月报结果与客户BI部门结果一致。

 

3.     
多维数据层、数据应用层

在基础数据层,通过清洗、整合、运算得到的表为基本的维度表、事实表。需要面向业务,计算出业务指标后生成一张多维度表,并最终展现给客户。根据进销存、人货场财等分析思路,可以沿着某一方向深挖下去,下面展示了几张从人、场、货三个方向可以分析得出的多维度表,以及所需的基础数据。我们也在打通更多的数据通路

 

 

 

时间: 2024-10-01 04:23:56

依托MaxCompute构建零售快消品行业数据仓库的相关文章

快消品行业09年四成并购案出自风投国进民退显现

19日,来自上海商情FMCG研究中心发布的2009中国快速消费品研究报告称,2009年快消品行业资本市场已经回暖,大量风投涌现,并主要集中在酒.渠道.乳业行业,预计2010年快消品行业整合速度将会加快. 2009年我国快速消费品行业发生了70多起并购及资本事件.根据并购金额排名的年度十大并购事件,与2008年十大并购的170多亿元相比,2009年涉及金额总计超过300亿元,同比增幅超过70%. 另外,2009年快消品行业资本市场呈现出"国进民退"现象,中投.中粮.光明食品集团等国有企业

快消品商业模式升级谈:中国PE界的宠儿

快消品行业历来是中国PE界的宠儿,这一地位在金融危机后时代被进一步巩固.一份来自中国投资创业协会的调查报告显示,未来一至二年,VC/PE机构重点关注的投资领域依次分别为:投资环保及新能源(79.5%).消费品及服务(74.4%)和医疗健康(69.2%).清晰易懂的商业模式.明确的市场增长前景.关乎民生的强大品牌基础,优秀的快消品企业显然最能吸引投资者的眼球,而金融资本亦已逐渐被行业龙头认可为整合市场的利器.在我们的人民币基金与本土快消品企业的几次联姻中,我们切身感受到了快消品企业家对财务投资人态

阿凡达:快消品网络营销 天时地利人和

中介交易 SEO诊断 淘宝客 云主机 技术大厅 快速品行业包括的产品是很广的!具体到食品.个人用品.烟草.酒类和饮料等等,阿凡达根据做过的案例分析,相对于其他类别的产品来说,快消品因其自身的特点,在网络营销方面是很有竞争优势的.传统市场的快消品,本身有地域等多方面的局限性,但是在网络营销的世界里,这都不是问题!快消品行业网络营销特点就是多变.灵活.创新.在众多的产品营销市场中,快消品一起创新营销策略.手段和案例,给我们上了精彩纷呈的一课!我们就具体来说一下,快消品行业网络营销,为什么天时地利人和

快消品品牌如何做好微信营销

摘要:  作者: @寻空 快消品作为与人们日常生活最为贴近的消费品,时常在营销创新方面走在时代的前列,从当年的大宝.健力宝到当今的洋河.加多宝等,它们均不同程度地引领了行业营 作者:@寻空 快消品作为与人们日常生活最为贴近的消费品,时常在营销创新方面走在时代的前列,从当年的大宝.健力宝到当今的洋河.加多宝等,它们均不同程度地引领了行业营销的步伐.社会化媒体时代的来临,使这些快消品品牌重新看到了机会. 自微信公众平台开放以来,"微信营销"这一词就异常火热.前有微信卖水果牛人月利润4万,后

快消品谋求移动互联网变革 掌客通助完成O2O闭环

中介交易 SEO诊断 淘宝客 云主机 技术大厅 快消品,顾名思义是老百姓日常生活中的快速消费品,食品.烟酒.日用品- -等等.由于用户消费周期短.消费频次高,快消品企业在市场营销中的成功与否直接决定着它们的生死存亡.同时,销售额大,市场反应迅速,营销投放准确.消费市场细分等因素也决定着快消品企业在营销市场中充当着"一马当先"的重要角色. 移动整合营销催生"变革" 移动互联网对于目前身处在现代社会的人们来说已并不陌生,据易观国际相关数据统计,截止2012年年底,中国移

网络营销为快消品注入时尚活力

本报讯 日前,在第七届Adworld2010互动营销世界上,娃哈哈的"营养快线"产品携手新浪的营销合作案例<因为·爱>荣获"最佳全场大奖",再次验证了网络营销能够为快消品行业提供有效营销解决方案. 中国人文大学舆论研究所所长.新闻学院副院长.博士生导师喻国明表示:"<因为·爱>这样的一个剧的创作,可以把年轻人元素级的问题进行分解,然后配一些积分.奖金加以激励,就可以激发年轻人参与的积极性,同时增加人们的关注度,这样所有参加到基础性元

快消品品牌该如何来做微信营销呢

摘要:  作者: @寻空 快消品作为与人们日常生活最为贴近的消费品,时常在营销创新方面走在时代的前列,从当年的大宝.健力宝到当今的洋河.加多宝等,它们均不同程度地引领了行业营 作者:@寻空 快消品作为与人们日常生活最为贴近的消费品,时常在营销创新方面走在时代的前列,从当年的大宝.健力宝到当今的洋河.加多宝等,它们均不同程度地引领了行业营销的步伐.社会化媒体时代的来临,使这些快消品品牌重新看到了机会. 自微信公众平台开放以来,"微信营销"这一词就异常火热.前有微信卖水果牛人月利润4万,后

视频营销:快消品“无限靠近消费者”

为什么要进行网络营销?因为越来越多的消费者出现在网络上.为什么要进行视频营销?因为最受欢迎的节目资源和创新的营销方式出现在视频领域. 对于快销品来说,以前主要的营销预算投放是电视这样的传统大众媒体.但是,随着网络快速发展,网民数量爆增,快消品企业逐渐将营销预算转向互联网媒体.2010年百事可乐放弃冠名长达23年的超级碗(Super Bowl)赛事,将2000万美元营销预算投向互联网.而可口可乐.宝洁.娃哈哈等国内外著名快消品企业也开始将营销重点转向互联网. "国内一些快销品企业很早就进入互联网营

万万没想到哪些快消品适合网络营销

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 上篇文章跟大家分享了一下快消品是否适合做网络营销,而我们知道在当今这个时候,快消品行业绝对有必要做网络营销,而且是越快越好.这几天也跟快消品行业的几个朋友一起聊了一下天,也有了一些收获,所以我们今天主要分享一下,哪些快消品适合做网络营销?很有可能是你万万没想到的!希望各位看官积极拍砖,您的拍砖就是对我最大的启发!谢谢大家!也希望大家可以跟我一