关于数据治理,你需要知道些什么?

每个有效的数据库都需要精心设计的模式(Schema),以保持数据干净,避免冲突,满足用户的各种需求,适应未来的扩展。同样,每个有效的企业数据计划都离不开数据治理,也就是精心设计的政策,以明确职责、解决不同利益相关方之间的冲突,提供维护和扩展,保护敏感信息。

数据治理的关注点通常包括:

  • 长远规划:识别战略需求,寻求管理层对数据计划的支持,获得多年的预算承诺,除新功能之外还提供维护和升级。
  • 架构:预见并调和不同企业部门之间的数据策略冲突。
  • 职责:明确研发、运营、基础设施、商业智能和各条业务线等能力领域之间的维护、更新和扩展职责。
  • 数据收集:把来自各条业务线的数据整合进公司总体策略,从源头上确保数据干净。
  • 安全和合规:识别敏感数据及其相关的监管和专业要求,执行技术和管理保障措施。

数据管理方面的权威西米恩·施瓦茨(Simeon Schwarz)分享过一个思维实验:假设你正在为某券商创建新的客户关系管理(CRM)分析系统,你问该系统的各个利益相关方,在他们眼中什么是“账户”?答案各不相同:

  • 营销部:“账户是被转化的销售线索。”
  • 财务部:“就财务报表而言,账户是拥有存款、能和我们交易的客户。”
  • 会计部:“账户是我们结算室、账簿和记录系统中的记录条目。”
  • 法律部:“账户是我们通过和客户签署的法律协议,向客户提供的结构化产品。”

虽然每个定义在其利益相关方的眼中都是正确的,但这些定义可能无法调和成单一的一个定义。没有数据治理计划,各个部门的工作流程可能会以不同的方式来对待记录。结果将是各个部门的工作流程产生不同版本的真相,具有不同的监管和合规风险。报告和分析变得不可靠,并使冲突加剧。

营销部通过网页表单收集销售线索,并为每条线索创建一条新的账户记录,但网页表单上可能有错字。法律部从头开始为每份协议创建一条新的记录,导致某些数据重复,如果其数据与包含错字的营销部数据产生冲突,那么还需要进行清理。

由于可追溯至大型主机时代的一个传统,运行整个系统的硬件设施也许是由会计部管理,而会计部可能不想花钱改进营销部的数据收集系统。营销部的人在策划宣传活动时,习惯了直接查看会计部数据库的原始客户记录,这会产生监管和安全风险。

数据治理计划不仅为解决这些问题和预见新的问题提供了知识和制度基础,还根据企业战略计划的推进提供相应的扩展。

关键的术语和趋势

如今首席数据官(CDO)这个职位越来越流行,其诞生就是为了应对数据治理的挑战。负责数据治理的CDO加入企业高管行列,这表明了数据在企业价值和使命中的重要地位。

行业组织和供应商已经开发出各种各样的数据治理框架,其中最著名的包括开放组群架构框架(TOGAF),它以美国国防部较早前一个项目为基础发展而来。TOGAF远远超出了数据治理的范畴,但数据架构是该框架中一个被人们津津乐道的组成部分。此外还有数据治理框架(DGI),它也是从结构化的角度来看待数据治理。

除了上述几种“框架”法以外,有些早期研究项目致力于元数据和情境服务在制定治理政策方面的潜在应用,这是从自下而上的角度来处理问题。

本文作者:品觉

来源:51CTO

时间: 2024-10-10 20:58:27

关于数据治理,你需要知道些什么?的相关文章

大数据治理大拥堵?

大数据治理交通拥堵? Intetix Foundation(英明泰思基金会)由从事数据科学.非营利组织和公共政策研究的中国学者发起成立,致力于通过数据科学改善人类社会和自然环境.通过联络.动员中美最顶尖的数据科学家和社会科学家,以及分布在全球的志愿者,我们创造性地践行着我们的使命:为美好生活洞见数据价值. 如今交通拥堵随处可见,在公路.空中.铁路交通等发生的一系列拥堵不仅会造成时间的浪费.空气的污染,还会使社会发展付出昂贵的代价.在伦敦.布鲁塞尔,上班族每年至少要浪费50个小时在交通拥堵上,这几

数字化转型中的大数据治理架构

大家好,我今天分享的主题是大数据治理.我们如何使用好大数据资产,才能够更好地发挥其中的价值? 主要大纲: 一.数字化时代大数据向服务化发展 二.数字化时代的大数据治理架构 三.大数据治理的12个技术原则 四.总结 一.数字化时代大数据向服务化发展 本文讲的是数字化转型中的大数据治理架构,数字化时代,我们的数据来源比以前更广了.第一,之前传统企业政府的IT系统主要是面向内部使用,产生了一些信息,现在已经面向外部使用了:第二,更多行为信息.社交信息都会变成企业的数据:第三,我们有很多非结构化的数据,

Informatica通过自动数据治理与合规实践 向企业交付可信及安全数据

Informatica数据治理与合规解决方案是业界首款智能的单一解决方案,使业务.技术和安全部门都参与到针对所有企业数据的治理活动中. • 能在整个企业范围内更加方便地访问.理解和使用数据,从而对企业整体数据治理及合规计划起到推动作用 • 充分发挥CLAIRE作用--CLAIRE是嵌入Informatica智能数据平台的智能应用 • 与业界领先的Informatica数据管理解决方案及产品系列相集成,范围包括内部部署数据.云数据和大数据. Informatica全球用户大会,中国北京,2017年

数据治理软件市场鱼龙混杂 如何练就火眼金睛做选择?

专家John Ladley对市面上一些主流的数据治理软件的功能进行对比,了解这些对比结果,可以帮助你确定哪些工具能够更好地满足你的需求. 市面上可以提高数据治理效果的工具越来越多.除了现有的软件供应商,还时常有新的竞争者进入治理软件市场.如果你想要提高数据治理程序的效率和可持续性,要在众多供应商和治理软件中做出选择,已经变得越来越困难. 在购买数据治理工具之前,你需要做好准备:在做出购买决定之前,需要确定使用治理软件的目的,以及如何从中获得商业价值.一旦你做好这些准备,就可以据此来评估治理产品.

普元王轩:做好大数据治理,加速航空业数字化转型

9月20日,2017全球航空旅客大会在上海启幕.来自国内外政府机构.行业协会.国内外领先航空公司.机场集团等领导齐聚一堂,探讨面对全球化和数字化带来的全新挑战,在"一带一路"的时代背景下如何提高服务质量,革新航空旅客体验.普元大数据产品线总经理王轩出席会议,并发表演讲<做好大数据治理 加速航空业数字化转型>,强调航空业数字化转型,需要以大数据为驱动,做好面向业务的自服务大数据治理,上衔数据,下接用户,才能保证航空大数据的有效利用. 数字化时代席卷而来,航空业转型关键点浮出

第二届数据标准化及数据治理大会成功举办 助力数据治理工作创新发展

2017年11月12日,"第二届中国数据标准化及治理大会"在北京召开.工业和信息化部信息化和软件服务业司副司长李冠宇,国家标准化管理委员会工业二部主任戴红.处长刘大山,中国电子技术标准化研究院副院长孙文龙.信息技术研究中心主任代红,中国行政体制改革研究会常务副秘书长王露,科技部高技术研究发展中心副主任袁建湘,清华大学副秘书长/技术转移研究院院长金勤献,中国科技产业化促进会秘书长谭华,以及来自政务.金融.电力.公安.教育.通信.安全.交通.健康等行业领域的400余位代表参加了会议,共同探

秦始皇:请叫我数据治理专家

历史背景 经过春秋时期旷日持久的争霸战争,周王朝境内的诸侯国数量大大减少,诸侯国互相攻伐,战争不断.三家分晋后,赵国.魏国.韩国跻身强国之列,又有田氏代齐,战国七雄的格局形成,七国分别是:齐.国楚国.燕国.韩国.赵国.魏国.秦国. 公元前238年,秦王政在李斯.尉缭等人的协助下制定了"灭诸侯,成帝业,为天下一统"的策略,用了10年的时间,先后消灭韩.赵.魏.楚.燕.齐六国,结束了春秋以来长达500多年的诸侯割据纷争的局面,建立了中国历史上第一个君主中央集权国家--秦朝. 秦始皇--20

大数据治理:地方政府准备好了吗?

 一.引言 大数据时代的来临,为政府治理创新和公共服务绩效改善创造了巨大契机,但也提出了不容忽视的严峻挑战.2015年8月,国务院印发<促进大数据发展行动纲要>(国发[2015]50号,以下简称<行动纲要>),将大数据发展和应用提高到国家战略层面.这项动议几乎要把全社会的所有力量都动员起来,但是对地方政府的角色和定位却并没有明确和清晰的界定.<行动纲要>在两处专门提及地方政府,一处是"结合信息惠民工程实施和智慧城市建设,推动中央部门与地方政府条块结合.联合试点

【Hadoop Summit Tokyo 2016】使用Apache Ranger和Apache Atlas进行数据治理

本讲义出自Madhan Neethiraj在Hadoop Summit Tokyo 2016上的演讲,主要分享了如何使用Apache Ranger和Apache Atlas保障数据安全并进行数据治理,首先分享了Apache Ranger的概览.授权策略.行过滤和列标记策略以及审计日记等相关内容,之后分享了Apache Atlas的概览的相关内容.