数字化转型中的大数据治理架构

大家好,我今天分享的主题是大数据治理。我们如何使用好大数据资产,才能够更好地发挥其中的价值?

主要大纲:
一、数字化时代大数据向服务化发展
二、数字化时代的大数据治理架构
三、大数据治理的12个技术原则
四、总结

一、数字化时代大数据向服务化发展
本文讲的是数字化转型中的大数据治理架构,数字化时代,我们的数据来源比以前更广了。第一,之前传统企业政府的IT系统主要是面向内部使用,产生了一些信息,现在已经面向外部使用了;第二,更多行为信息、社交信息都会变成企业的数据;第三,我们有很多非结构化的数据,比如媒体、视频数据等;第四,还有物联网传感器方面的数据等。

这些数据大部分是非结构化的,如媒体数据、视频数据,包括物联网传感器等信息,这些信息远比以前更加难以管理,怎么样把这些信息管理好,充分发挥这些信息中的价值,就是我今天跟大家分享的主要内容。
1、以大数据为驱动的企业数字化转型

我们先看企业、政府是如何发挥大数据价值的。

红领集团——以大数据为驱动的企业数字化转型

我们先来看红领集团。红领集团是做工业4.0比较领先的企业,以生产男式西装为主。下图是红领集团的生产模式:用户在手机APP上下单之后,测量师会到你家里做定式测量,然后在版型库里做自动设计,自动排产之后就能生产使用了。
红领集团每个工人在生产的时候从布料里拿一张卡到屏幕上刷一下,屏幕上就能显示出订单编号和工序要求。所以对于红领集团来说所有订单都是个性化订单,所有生产都是个性化生产,整个生产流程都是由数据驱动的,其中男装生产中的两个非常关键的环节,也是用大数据解决的。
第一个关键环节是西装设计。就是根据你的身材来裁剪版型,西装设计非常重要,要求领子里面衬衣露不到一指,裤子盖脚面一指等。在订单量很大的情况下,版型师难免会供不应求,红领集团把以前做的一亿多套数据灌到数据库里,通过大数据的方式,自动给新订单生成版型,并抽查现有设计的版型是否合理,另外还有20几个版型师专门针对特别高、特别胖的人做版型设计,因为这些是机器做不出来的。
第二个关键环节是自动排产。生产工序是什么样的,什么地方钉扣子,什么地方挖扣眼,这些都是在自动排产里面进行的。排产也是数据驱动的,在红领生产工艺里面很少有人工审批,各个环节都是用数据驱动的方式在做。

通过这样一个模式,红领基本上把整个工业的生产线、传感器、车床、用于排产的MES系统、ERP系统、订单系统、物流系统等通过云和大数据的模式进行了整合。生产的时候有排产,排产是否有工艺流程、艺工的应用效率是什么样的,都是通过数据驱动的方式。
我们发现领的数据已经不是像传统一样仅仅用在了决策分析或某一个地方,而是贯穿了整个生产部门。这个数据是从哪来的,怎么来的,怎么管好,怎么发挥价值,实际上就是红领集团做数据管理带来的作用。
苏州工业园区——实现政务信息共享
我们再来看看苏州工业园区。作为政府机构,苏州工业园区很早就实现了机器物理的大集中,但是集中之后该如何做?现在政府都在提数据共享,物理服务器集中只能算数据共享的第一步,但是只做这个就能数据共享吗——显然不是,所以苏州工业园要做“三库、三通、九枢纽”。

三库即企业信息库、人口库、地理库,这个大部分政府都在做,但是九枢纽和三通是苏州工业园区自己做的规划。三通无非是跟政府、居民和企业打交道的业务,所有的应用都在三通框架下做,九枢纽把三库之外的信息做了分割聚类,比如到工商注册一个公司,可能环保对我有要求,工商对我有要求,税务对我也有要求,那么这些信息从哪里来,可能从九枢纽上面的各种应用来,这就是发挥数据功效的时候。
2、大数据治理是大数据服务化的关键
目前很多企业也意识到了数据管理的重要性,CDO也逐渐成为数字化企业的标准岗位,成为企业组织结构中的一部分,CDO已经不仅仅是一个职位了,而代表着数据部门职能的改变。

现在不少企业为了更加明确数据部门的目标,已经把数据管理部的名字改为数据服务部了,由数据管理转变为数据服务,以前是数据部门是自己准备数据给自己用,自己做一些分析报表等,现在更多是要把这些提供给别人用,为业务创新服务,像苏州工业园区的九枢纽就是给委办局用的。怎么把数据管理好,用服务的方式提供出来,这是大数据治理的核心。

3、大数据治理需要新一代架构

作为数据管理部门的一个管理手段,大数据治理在数据服务化上扮演着重要的角色。举一个例子,我们在看足球赛的时候,看的是运动员如何把球踢进去,但一场球踢得如何与裁判也有很大关系,大数据治理就像是足球赛的裁判,如何做好裁判的工作,就是我们今天要讨论的问题。

裁判通常的做法是向大家传输规定好的比赛流程,给大家定好比赛规则,然后再按照规定的流程和规则来监督大家执行,其实好的裁判应该不只是向大家传输规则和流程,还要考虑如何让运动员把球踢得更流畅。企业大数据治理也一样,治理本质上其实是帮业务把数据用好,让业务发挥更好的作用,而不只是通过一系列流程和规章制度给大家上套,增加大家的额外工作量。
裁判之前的工具只有哨子、红黄牌、旗子,想要把裁判的工作落实下去有一定的难度,现在裁判有各种先进的工具,有鹰眼、有录像的回放,通过一系列工具手段能把裁判工作落实得更好。在大数据时代还按传统方式做数据治理是行不通的,因为现在需要让每个人都能发现数据的价值,让每个人都能发挥创新能力,所以更好的工具和手段很重要。
大数据治理应该是自动化、自助化、智能化的,把大数据治理当做一系列服务给别人提供出来,可以让大家更好地开展大数据治理,这个我在后面会详细介绍。

二、数字化时代的大数据治理架构
1、目前的大数据平台难以满足数字化时代的要求

目前的大数据平台在管理、业务、技术都有很大优化空间,比如,管理上缺乏服务化,业务上数据难使用、难查找,用户不知道到底哪些数据能够用来创新;技术上,工具链条很复杂,比如报表发生错误之后,因为报表本身的数据可能是通过几次数据处理才形成的,最后的错误源头在哪儿?大家的一般做法是检查数据处理存储过程脚本等,查了好多个文件后,最后发现原来是某个数据不对,诸如此类的工具链让数据业务的开发和创新变得非常困难。
2、大数据治理从管理、业务、技术上全面提升创新能力

在大数据治理时,要转变管理定位,支撑好业务,而且要有技术落地。我们作为一个裁判不能只有哨子、红黄牌和旗子,我们还需要有鹰眼和视频回放,自动看到到底哪些球员越位了。传统的数据管理部门,正需要使用这样一些工具手段帮助业务人员、使用人员、开发人员、运维人员把事情做好,给他们提供数据服务,而不是给他们增加负担。

大家知道以前做数据治理,有个很重要的系统叫元数据系统,传统情况下一个企业里只有几个人在用这个系统,其他人不知道这个系统能干什么,也不会使用。如果将元数据系统变成服务,再将这个服务嵌入到企业每个人的工具里,这样一旦出现数据质量问题,就能定位到问题来源,一旦发现问题就自动查询数据,我们需要的就是这样一个平台,帮我们大数据治理做好,使企业更容易获得大数据的好处。

大数据平台中有各种类型的数据,前端有各种类型的业务应用,但是业务应用和大数据之间是有鸿沟的,怎么让他们匹配起来?按照解耦性,加入中间层,在中间解耦会让业务更简单、更方便地取得数据。

三、大数据治理的12个技术原则
如何用技术手段来做大数据治理,我们总结出了以下12个原则:

因为时间关系,我主要结合我们的具体实践讲三个原则。
可视化管理企业数据资产
企业有各种来源的数据,包括第三方购买的、自动产生的、从网络爬过来的等,现在领集团连之前不需要的传感器生产数据也拿过来了,这些海量数据之间的传递,实际上是知识的传递,或者说是知识工作者之间的传递,可视化的方式能极大地提升知识传递的效率。可视化有很多手段,比如树、思维脑图、流程图等,所以可以用数据地图来描述企业数据资产,通过思维脑图、流程图等形式可视化出企业的数据资产,嵌到各个数据应用系统中去。

大数据服务智能化
以前我做数据的时候发现很多热点数据是频繁使用的,每次都去数据仓库或者大数据平台抓这些热点数据会浪费大量的资源,现在通过大数据治理平台,把这些热点数据缓存起来,能够方便大家的下一次使用。
以大运河为例,在大运河边上能发现很多湖,这些湖就是用来调节运河水位的,同样我们也应该有这样一个“湖”,通过这个“湖”把前端的应用用好,刚才我讲的热点数据只是之一,数据的脱敏、安全性管理都是要做的,我们在中间提供了非常好的手段把这些来自很多维度的数据管理好。

数据管理能力服务化
将数据治理平台变为服务平台,用工具把IT的各个环节做一个串联。比如数据地图能不能是对外的API,形成页面组件供应用使用,数据字典能不能嵌入到管理的系统里去,数据标准能不能跟设计连接起来,让人家在设计库表结构、数据结构的时候就能用到数据标准,而不是到你的系统里用?能不能让需求人员在开发的需求工具里就能看到业务语义,用这样的业务语义来写需求?这需要把数据治理能力服务化,为开发者、运维者、架构师提供方便。

四、总结
苏州工业园区、领集团在数字化转型中都以大数据为支撑,支撑过程当中,大数据治理是关键,要用技术手段做治理,而不是只靠规章制度。要想把大数据治理做好,需要很多原则引导,以是否实现这些原则判断大数据治理效果的好坏。
.
欢迎大家和我们一起沟通!愿大家能用好、管好大数据,让其真正发挥出价值,创造作用。谢谢大家!

时间: 2024-11-02 03:15:46

数字化转型中的大数据治理架构的相关文章

大数据治理:成熟度评估框架

Goals:目标 Business Outcomes:业务成果 Enablers:支持要素 Organizational Structures & Awareness:组织结构和认识 Stewardship:管理人员 Data RiskManagement:数据风险管理 policy:策略 Core Disciplines:核心准则 Data Quality Management:数据质量管理 Information Lifecycle Management:信息生命周期管理 Informati

大数据治理需要具备哪些能力和关键技术?

在企业数据建设过程中,大数据治理受到越来越多的重视.从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断发展和完善,其落地实施的过程中会遇到各种各样的难题和挑战.本篇文章通过分析大数据治理建设中的沟沟坎坎,总结出了大数据治理需要具备的能力和关键技术. 一.困难重重却充满光明的大数据治理发展之路 1. 传统数据治理一直无法逃脱的魔咒 大数据治理从建设内容和实施目标上可以划分成不同的阶段,每个阶段完成不同的任务,随着阶段的递进,建设内容逐步加深,不同的企业切入点和诉求

浅谈自服务的大数据治理在企业数字化转型中的妙用

一.用户与大数据之间的鸿沟让数字化转型困难重重 本文讲的是浅谈自服务的大数据治理在企业数字化转型中的妙用,目前虽然不少企业已经广泛建设大数据平台,但却难以直接使用平台中的大数据,企业人员与大数据之间存在着一道难以逾越的鸿沟. 这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知.需求难实现.数据难共享等一系列问题: 1.数据不可知,数据价值无处可寻 企业环境中到底有哪些数据,这些数据在哪里,慢慢变成了大数据平台的"迷",用户迷失在动辄几十PB的数据中.对于企业管理者来说,无法从管理

普元王轩:做好大数据治理,加速航空业数字化转型

9月20日,2017全球航空旅客大会在上海启幕.来自国内外政府机构.行业协会.国内外领先航空公司.机场集团等领导齐聚一堂,探讨面对全球化和数字化带来的全新挑战,在"一带一路"的时代背景下如何提高服务质量,革新航空旅客体验.普元大数据产品线总经理王轩出席会议,并发表演讲<做好大数据治理 加速航空业数字化转型>,强调航空业数字化转型,需要以大数据为驱动,做好面向业务的自服务大数据治理,上衔数据,下接用户,才能保证航空大数据的有效利用. 数字化时代席卷而来,航空业转型关键点浮出

“工程师”与“园丁”:大数据治理中的政府角色

在大数据治理中,政府必须同时扮演好两种角色,即"工程师"和"园丁"."工程师"呈现了政府刚性的一面,它是技术专家对经济社会的直接干预:除了刚性,政府还有"园丁"的一面,主要体现召集人.催化剂的角色,给社会发展和成长留足空间. 在大数据治理中,政府的目标是多样的.一方面要提高行政效率,促进大数据产业发展,引领和带动新兴产业,推动经济转型升级:另一方面要加强监管,维护社会公平正义,预防数据泄露,减少社会风险.政府必须同时扮演好两种

网络在企业数字化转型中的4大作用

当前,数字化变革被描述为在商业和社会等各个方面通过数字化技术应用而引发的相应变化.然而与电子商务不同,随着数字化转型需求扩展到企业内部,逐步与企业业务功能.流程产生交集,并已成为企业重塑商业运作的新动力. 网络在企业数字化转型中的作用 需要注意的是,在企业进行数字化转型的过程中,网络也同样发挥着不容忽视的关键性作用,具体表现为以下几点: 1.速度需要 伴随企业业务的逐步拓展,数据流程.业务应用变得越来越复杂,这就需要企业拥有一个稳定.快速的网络基础设施作为平台支撑,特别是在跨越业务.区域边界的数

美国大数据治理下的新问题

大数据与开放政府数据对电子公共服务.开放和透明政府以及政府公众与企业间的互动,都蕴藏着巨大的变革潜力.大数据与开放政府数据可推动多方协作,为农业.健康和交通运输等各个领域面临的挑战提出实时解决方案,推动更大程度的开放,并引领政策制定走向新时代. 本文以美国为背景,对有关开放政府数据与大数据的关键政策问题进行评论,然后为大数据和开放政府数据的实践提供建议,以推进数据驱动的创新. 大数据应用 2012年3月奥巴马政府发布了"大数据研究和发展计划".作为回应,美国国家科学基金会.美国国家卫生

为什么选择这样的大数据平台架构?

当前BAT基本公开了其大数据平台架构,从网上也能查询到一些资料,关于大数据平台的各类技术介绍也不少,但在那个机制.那个环境.那个人才.那个薪酬体系下,对于传统企业,可借鉴的东西也是有限的. 技术最终为业务服务,没必要一定要追求先进性,各个企业应根据自己的实际情况去选择自己的技术路径. 与传统的更多从技术的角度来看待大数据平台架构的方式不同,笔者这次,更多的从业务的视角来谈谈关于大数据架构的理解,即更多的会问为什么要采用这个架构,到底能给业务带来多大价值,实践的最终结果是什么. 它不一定具有通用性

评谈新经济:新经济动能转换中的“大数据要素”

[导语]2016年的两会,总理所做的政府工作报告中有许多新提法.新思路引起了人们的关注.其中,有关新经济被描述为"随着以云计算.大数据.物联网等为代表的新技术被广泛接收和应用,诞生的新产业.新消费.新组织形态,以及随之而来的创业创新浪潮.产业转型升级.就业结构改善.经济提质增效." 新经济实现的五大重点:DT形态的信息基础设施.三合一的分享型经济参与模式.开放多元的协同治理.C2B与智能制造结合的供给侧革命.互联网+之下的新型服务市场进步. 大数据是以云网端为基础核心设施.平台分享为核