数据中台-阿里巴巴的数据整合、价值发掘、社会赋能之道

大数据作为Tech Insight热点内容,12月19日上午北京场再一次惊爆会场,前后两个门口都挤满了用户,150人的场子,却挤了300多人,大多数用户边掂着脚认真听讲,还边录音。

 

一个参加完大数据场的用户在Tech Insight结束后到前台来给工作人员说到,Tech Insight特别棒,没有听过瘾,明天还有就好了。他还说到,Tech Insight论坛讲的内容都是其它企业的实际应用场景,听起来就像是我们自己公司的业务搭建中的场景再现一样,非常实用。我们来看看阿里巴巴是如何对海量数据进行整合和价值发掘的,同时这对其他企业也具有很好的借鉴意义。

阿里巴巴大数据建设经历了不断理念革新和实战、不断量变和质变的过程,其中,2014.04-2015.11的阿里集团数据公共层建设和2016.09开启的阿里巴巴大数据能力赋能社会是阿里巴巴在大数据领域的两次关键质变,第一次质变确定了阿里巴巴数据中台业务模式,第二次质变确定了阿里巴巴数据赋能社会的战略。

 

一、那么阿里巴巴是怎么通过数据中台业务模式来进行阿里内部数据建设的?

企业的发展,往往伴随着业务更多元化,而与此同时企业在积极推进业务数据化,因此越来越多的企业伴随着各个垂直业务的发展,形成了一个个垂直的数据中心,如何打通这些数据并且以统一的标准进行建设,以达到技术降本、应用提效、业务赋能的目标,是众多企业面临的问题。

阿里巴巴提出的数据中台模式正是为解决这些问题而生,并通过实践形成了统一全域数据体系,实现了计算存储累计过亿的成本降低、响应业务效率多倍提升、为业务快速创新提供坚实保障。

全域数据采集与引入:以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据;

标准规范数据架构与研发:统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化规范化的方式实现指标口径统一;

连接与深度萃取数据价值:形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值;

统一数据资产管理:构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。

统一主题式服务:通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表;

极大的丰富和完善了阿里巴巴大数据中心,OneData、OneID、OneService渐趋成熟并成为上至CEO、下至一线员工共识的方法论体系。

二、是否在阿里生态之外,这套在阿里巴巴生态内实战过的数据中台模式可以推而广之、赋能全社会呢?

这就为大数据能力赋能阿里生态内外的社会思考开始酝酿并悄然拉起帷幕!未来,阿里巴巴还将全力以赴的分享自己的大数据观和基于阿里巴巴大数据观的数据中台业务模式。

赋能业务并闭环迭代:数据中台的建设的最终目标还是赋能业务,但在赋能业务的过程中,反馈数据和新数据需要源源不断地从业务前台回流到数据中台,形成闭环且可不端迭代。

企业建设数据中台建设有三个必要条件,战略决心、人才投入和工具保障。数据中台模式的建设不是一个运动,也不是一个一次性的项目,而是需要不断投入迭代的过程,并且可能会驱动企业的组织和流程进化,因此需要企业的决策层从战略上认同和下决心。数据中台的构建需要大数据人才,并通过一套完善的大数据工具来支撑建设。而人才方面可以通过借鉴成熟的方法论+外部服务商的引入+好的大数据工具来降低依赖。阿里的智能数据引擎Dataphin,结合数据中台实践沉淀的方法论和建模化的自动代码生成等技术能力和功能,可以高效、高质助力企业从各垂直业务的数据到统一全域数据的转变,建设自有的数据中台。

一个企业的大数据架构体系的成熟度将很大程度决定了企业大数据团队资源的长期投入是否能聚焦在业务问题一般企业只有50%资源投入在业务问题解决,另外50%资源投入在应对源业务系统的突发变更,应对数据架构和模型体系的调整与优化。解决此问题需要从三方面着手:

第一:构建一个统一的研发工作平台,让大数据的模型设计与实现一体化协同;

第二:采用系统化的方法替代工程师设计,实现物理模型和物理运行代码的自动化生产,让架构调整与优化在系统层面自动完成;

第三:构建一个以逻辑模型为中心的数据架构体系,既可以简化数据访问的复杂度,有可以屏蔽数据源变更的影响范围。数据引擎Dataphin从这三方面解决大型企业数据架构问题,帮助企业构建全域数据构建体系,实现企业大数据资源能力要求简化,实现企业大数据资源更加聚焦在利用大数据实现业务价值问题,来帮助大型企业实现数字化转型。

如何打通这些数据并以统一的标准进行建设,以达到技术降本、应用提效、业务赋能的目标,将会成为众多企业面临的问题,而数据中台模式正是为解决该问题而生。全域数据采集与引入、标准规范数据架构与研发、连接与深度萃取数据价值、统一数据资产管理、统一主题式服务、赋能业务并闭环迭代,是数据中台建设的核心六个方面。对于数据中台建设有三个必要条件,战略决心、人才投入和工具保障,借力阿里的智能数据引擎Dataphin,通过其结合数据中台实践沉淀的方法论和自动化代码生成等技术能力,可极好地解决人才和工具两方面的问题。

时间: 2024-09-20 14:55:52

数据中台-阿里巴巴的数据整合、价值发掘、社会赋能之道的相关文章

干货:解码OneData,传说中的阿里数据中台是如何练成的?

据IDC报告,预计到2020年全球数据总量将超过40ZB(相当于4万亿GB),这一数据量是2013年的10倍.正在"爆炸式"增长的数据的潜在巨大价值正在被发掘,它有可能成为商业世界的"新能源",变革我们的生产,影响我们生活.当我们面对如此庞大的数据之时,如果我们不能有序.有结构的进行分类组织和存储,那么在价值被发现前,也许数据成本灾难已经来临.它犹如堆积如山的垃圾,给我们企业带来的是极大的成本,而且非常难以消费和发掘价值,也许数据更可悲的命运是在价值发现之前它以死去

品《阿里巴巴大数据实践-大数据之路》一书(下)

今天继续谈阿里的这本书,包括数据服务平台.数据挖掘平台.数据建模.数据管理及数据应用,希望于你有启示. 1.数据服务平台 数据服务平台可以叫数据开放平台,数据部门产出海量数据,如何能方便高效地开放出去,是我们一直要解决的难题,在没有数据服务的年代,阿里的数据开放的方式简单.粗暴,一般是直接将数据导出给对方,我想,现在大多公司的开放应该也是如此吧,虽然PaaS喊了这么多年,但真正成就的又有几个? 即使如阿里,在数据开放这个方向上的探索和实践,至今也有7个年头了,任何关于数据开放毕其功于一役的做法都

揭秘阿里数据中台:双11当日调用超75亿次

"阿里巴巴正在建设数据中台,统一处理集团近千PB数据,每天被扫描的数据量相当于2千万部高清电影.目前对外服务千万商家与其它生态伙伴,对内服务上万名小二,2015年双十一当天平台调用超过75亿次."   4月20日, UBDC全域大数据峰会·2016上,阿里巴巴公共数据平台负责人罗金鹏首次对外披露了在阿里中台战略下,如何推动数据中台落地的个中细节.   据悉,中台战略是阿里巴巴于2015年底首次提出.作为阿里中台战略的核心之一--数据中台旨在对内提供数据基础建设和统一的数据服务,对外提供

如何利用数据赚钱?大数据价值变现的10种商业0模式及利弊分析

有人说大数据是「石油」是「黄金」,涂子沛说大数据是「土壤」,而马云说大数据是「生产资料」,我觉得他们说得都对,但是也都不对. 因为大数据就是「大数据」. 当大数据应用在不同的领域和不同的场景下,所产生的意义及其所代表的意义也都不一样,你没有办法用一句话完全概况.大数据是互联网时代不可或缺的产物,不管你愿不愿意,大数据就在那里,你我都是大数据的制造者同时也是受惠者,这个生态圈的闭环已经形成,而且还在不断的延伸到各行各业,为不同的行业创造着更新.更大的价值. 2015年9月,我曾经写过一篇名叫<一文

有效利用大数据资源,释放数据隐藏的价值

数据的真实价值就像漂浮在海洋中冰山,第一眼只能看到冰山一角,而绝大部分则隐藏在表面之下.在大数据时代,数据的价值仍然存在,只是处于"休眠"状态,而要解锁这些数据的价值,就必须通过统计人员的不懈努力并借助新一代的方法和工具,来释放数据隐藏的价值. 大数据来袭势不可挡 世界每时每刻都在产生数据,数据又开始以几何级增长,这种增长速度已经不是"爆炸"二字可以形容的了.国际数据公司(IDC)的<数据宇宙>报告显示:2008年全球数据量为0.5ZB,2010年为1.

[连载]《大数据之路:阿里巴巴大数据实践》之日志采集

作者简介 阿里巴巴数据技术及产品部.定位于阿里集团数据中台,为阿里生态内外的业务.用户.中小企业提供全链路.全渠道的数据服务.作为阿里大数据战略的核心践行者,致力于"让大数据赋能商业,创造价值".现在,阿里巴巴数据技术及产品部正通过技术和产品上的创新,探索全域数据的价值,将阿里在大数据上沉淀的能力对外分享,为各行各业的发展带来更多可能性. 本章内容摘要 数据采集作为阿里大数据系统体系的第一环尤为重要.因此阿里巴巴建立了一套标准的数据采集体系方案,致力全面.高性能.规范地完成海量数据的采

大数据应用现状:从发现价值到创造价值

从发现价值到创造价值, 大数据将成为"互联网+" 产业升级的驱动力. 过去,数据的价值主要应用在决策领域,典型应用是商业智能(BI, Business Intelligence)在企业经营管理层面的应用, 即通过数据收集.管理和分析等方法,将数据转化为知识, 发现数据的价值,进而提供决策支持.随着数据体量的不断增加和处理数据能力的提升, 大数据已经成为一类新的资产, 其应用场景正在不断扩宽,除了决策支持. 提高效率等发现价值功能之外,大数据还能创造价值的功能: 一方面,大数据可以帮助提

阿里巴巴大数据实践之数据建模

随着DT时代互联网.智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序.有结构地分类组织和存储是我们面临的一个挑战. 为什么需要数据建模 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置:如果把数据看作城市的建筑,我们希望城市规划布局合理:如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措. 数据模型就是数据组织和存储方法,它强调从业务.数据存取和使用角度合理存储数据.Linux的创始

阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171122)

  概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全.本文收录了大量的MaxCompute产品介绍.技术介绍,帮助您快速了解MaxCompute/ODPS. MaxCompute 2.0:阿里巴巴的大数