如何成功实现数据治理

文章讲的是如何成功实现数据治理,如果你处理过大量数据,你也许听说过“数据治理”一词,你可能会想,它是什么?适不适合你?如何实施?简单来说,数据治理就是处理数据的策略——如何存储、访问、验证、保护和使用数据。数据治理包括制定获取方案:谁能访问、使用和共享你的数据。

  这些问题正变得越来越重要,因为企业依靠收集、存储和分析大量数据,来达成业务目标。数据变成了企业的盈利工具、业务媒介和商业机密。数据泄露会导致法律纠纷,还会令消费者对公司的核心业务失去信心。

  如果心存侥幸,全凭各个部门自行处理数据,那么你将缺乏统一管理数据的策略,也许会让各个部门制定自己的策略。这是无法想象的,就像是缺乏管理实物库存的策略,允许各个实体部门随心所欲地生产、储存和销售产品一样。数据使用不当就像库存使用不当一样,会给企业造成数百万美元的损失,因此必须制定策略,使数据具有一致性和安全性,并随时可用。这些应用于数据领域的策略就构成了数据治理。

  数据治理的特点

  数据治理策略必须涵盖数据的整个生命周期,从数据收集一直到数据管护。在这个生命周期中,数据治理必须解决以下问题:

  ·从哪里获取数据以及如何获取,这是数据生命周期的起点。数据来源决定了数据治理策略的基础。例如,数据来源所决定的一个重要因素是数据集的大小。是从目标市场、现有客户和社交媒体收集数据?还是使用外部供应商收集数据或者分析你收集的数据?输入数据流是什么?数据治理必须着眼于这些问题,制定策略来管理数据的采集,引导外部供应商处理他们收集的数据或者分析你收集的数据,控制数据的路径和生命周期。

  ·验证数据,尤其是验证多来源数据,这是一个让数据管理者十分头疼的问题。区分重要数据和噪声数据只是这个问题的开始。如果你是从附属企业收集数据,你必须确保数据是可靠的。如果你是从社交媒体网站收集数据,在你的策略中,必须有一种验证重要数据的方法。任何情况下,你都必须确保收集的数据是合法的,并且没有被篡改——这个问题在并行计算环境中尤其令人担心,因为并行计算常常被用来收集大量数据,这往往会使用云服务,故而增加了安全隐患。

  ·数据治理策略必须解决存储问题,而存储方案在很大程度上取决于数据集的大小。以PB计的大数据必须存储在安全的冗余系统中,常常利用层次体系,根据使用频率来提供数据。这样一来,昂贵的在线系统提供的是被频繁请求的数据,而请求频率较低的数据则存储在不那么昂贵、可用率较低的系统上。不幸的是,这些优先级较低的系统也可能安全性较低,从而允许访问敏感但请求频率低的数据。因此,在制定数据存储方案时,良好的数据治理策略必须考虑到方方面面的因素。

  ·数据治理必须制定访问控制策略,在需求和安全之间找到平衡。要让那些需要数据来完成工作的人,可以在必要时无障碍地访问数据。出于安全原因,他们能够访问的数据不应该超出他们的权限。数据应该在请求合法的前提下,才能被访问,但出于安全原因,对敏感数据应该加大访问难度,只向具有特定安全级别的用户开放。应该对用户和数据本身设置访问级别,管理账户时,应与人力资源部和采购部紧密互动,这一点非常重要,因为这样可以及时地使离职员工和停止合作的供应商不再拥有访问权限。处理好这些细节以及确保数据所有权和责任,这是构成完整的数据治理策略的一部分。

  ·使用/共享/分析。数据如何被使用是数据治理策略至关重要的一部分。潜在用途包括,使用数据来管理账户,改善客户体验,投放定向广告,提供市场分析,与附属企业共享数据。必须仔细界定哪些数据可用于共享或者用于营销,并保护它们免遭攻击和泄露,因为数据本来就应该被用于纯粹的内部用途。要让客户知道,收集数据的所有公司都必须遵守数据使用和共享方面的规定。能够确保数据使用合规,这是拥有数据治理策略的另一个重要好处。

  ·收集、验证、存储、访问和使用都是安全计划的必要组成部分,必须有一个全面的策略来解决这些问题以及其他安全问题。安全计划必须在不禁止用户使用的情况下发挥作用,但数据生命周期的各个阶段都可能因为疏忽大意而遭到攻击和泄露。对安全的追求必须是支持而不是妨碍必要的使用。数据治理策略必须制定数据安全方案,包括访问协议、对静态数据和传输中数据进行加密,等等。

  ·管护/元数据。没有管护的数据生命周期是不完整的。管护的一个例子是把元数据应用于一个数据,以便识别检索。元数据包括数据的来源、生成和/或收集的日期、访问级别信息、语义分类以及企业需要的其他属性。数据治理能建立一个元数据词汇表,界定数据的有效期。要记住,数据也会过期,到某个时候,也许只能用于历史数据分析。

  数据治理的组织问题

  在创建数据治理的过程中,常常会遭到抵制,因为有些人担心无法再访问他们需要的数据,还有些人出于竞争的考虑,向来不愿共享他们的数据。数据治理策略必须消除这些担忧,让各方面的人都能接受。习惯了数据筒仓环境的公司,可能不太容易适应新的数据治理策略,但如今对大型数据集的依赖以及随之而来的诸多安全问题,使创建和实施覆盖全公司的数据策略成为一种必然。数据日益成为企业基础设施的一部分,在企业一步步处理各种特定情况的过程中,决策就这样形成了。它以一次性的方式作出,常常是对某一特定问题的回应。因此,企业处理数据的方法会因为不同部门而改变,甚至会因为部门内部的不同情况而改变。即使每个部门已经有一套合理的数据处理方案,但这些方案可能彼此冲突,企业将不得不想办法调解。弄清数据存储的要求和需求是一件难事,如果做得不好,就无法发挥数据在营销和客户维系方面的潜力,而如果发生数据泄露,你还要承担法律责任。另外一个问题是,在一家大公司里,部门之间会争夺资源,还会展开竞争,让自己的需求被领导听取。各部门只需要确保自己的生存能力,无论是盈利业务,还是支持中心,都是如此,因此它们视野狭窄,只注重自身需求,很难在没有调解的情况下达成妥协。数据治理委员会着眼于现有数据策略、未被满足的需求以及潜在安全问题等,创建数据治理策略,使数据的采集、管护、储存、访问以及使用策略均实现标准化,同时还会考虑各个部门和岗位的不同需求。数据治理委员会还扮演了调解人的角色,平衡那些存在冲突的需求,在安全担忧与访问需求之间进行协调,确保最高效、最安全的数据管理策略。

  五步实现成功的数据治理

  1. 建立一个数据治理组织。数据治理研究所推荐建立一个数据治理委员会,负责评估各个数据用户的输入信息,建立覆盖全公司的数据管理策略,满足内部用户、外部用户甚至法律方面的各种需求。该委员会的成员应该囊括各个业务领域的利益相关者,确保各方需求都得到满足,所有类型的数据所有权均得到体现。安全专家也应成为委员会的一员。了解数据治理委员会的目标是什么,这一点很重要,因此,应该思考企业需要数据治理策略的原因,并清楚地加以说明。2. 制定一个框架,将林林总总的数据需求容纳其中。这个框架必须确保各个部分被融合成一个整体,满足收集、存储、检索和安全要求。为此,企业必须清楚说明其端到端数据策略,以便设计一个覆盖所有要求和必要操作的框架。必须有计划地把各个部分结合起来,彼此支持,这有很多好处,比如在高度安全的环境中执行检索要求。合规性也需要专门的设计,成为框架的一部分,这样就可以追踪和报告监管问题。这个框架还包括日常记录和其他安全措施,能够对攻击发出早期预警。在使用数据前,对其进行验证,这也是框架的一部分。数据治理委员会应该了解框架的每个部分,明确其用途,以及它如何在数据的整个生命周期中发挥作用。3. 试点数据策略。通常来说,一个策略应该先在小范围内推行,以便发现计划、框架和基础设施的缺陷,然后才在整个公司实行。4. 拥有一个与时俱进的数据治理组织。数据治理委员会应该与时俱进,因为随着数据治理策略延伸到新的业务领域,肯定需要对策略进行调整。而且,随着技术的发展,数据策略也应该发展,与安全形势、数据分析方法以及数据管理工具等保持同步。5. 知道什么是成功的数据策略。确立成功标准,以便衡量进展。制定数据管理目标,有助于确定成功的重要指标,进而确保数据治理策略朝着你希望和需要的方向前进。

  结论

  企业无论大小,都面临着类似的数据挑战。公司越大,数据越多,而数据越多,就越需要制定有效、正式的数据治理策略。规模较小的企业也许只需要非正式的数据治理策略就能做得很好,但前提是,公司的规模必须要小,而且对数据的依赖度必须要低。即便是非正式的数据治理策略,也必须考虑客户和员工数据的收集、验证、访问以及存储。当企业规模扩大,数据需求跨越多个部门时,当数据系统和数据集太大,难以驾驭时,当业务发展需要企业级的策略时,或者当法律或监管提出需求时,就必须制定更为正式的数据治理策略。如果你发现,有部门在制定自己的数据管理策略,就是时候了。一旦有足够多的数据让你成为黑客的攻击目标,就是时候了。简而言之,如果你不得不问“是时候了吗?”,那么可以肯定,是时候制定正式的数据治理策略了。

作者:大象会跳舞

来源:IT168

原文链接:如何成功实现数据治理

时间: 2024-10-22 22:27:52

如何成功实现数据治理的相关文章

CIO关注:数据治理成功的六个步骤

数据很宝贵.随着保护客户数据的难度越来越大,越来越多的公司在积极采用数据治理策略,以便管理等于公司生命线的信息.毫无疑问,数据已成为信息经济的原材料,保护数据是一项具有战略意义的必要工作.寻求竞争优势的公司也在http://www.aliyun.com/zixun/aggregation/6939.html">积极主动地利用数据治理,为公司业务增加价值.所有这些,都需要企业在合适的时间向合适的人提供合适的信息,并且使整个企业都获得新的机遇,而不是单单以一种被动的方式来管理数据. 数据存在的

第二届数据标准化及数据治理大会成功举办 助力数据治理工作创新发展

2017年11月12日,"第二届中国数据标准化及治理大会"在北京召开.工业和信息化部信息化和软件服务业司副司长李冠宇,国家标准化管理委员会工业二部主任戴红.处长刘大山,中国电子技术标准化研究院副院长孙文龙.信息技术研究中心主任代红,中国行政体制改革研究会常务副秘书长王露,科技部高技术研究发展中心副主任袁建湘,清华大学副秘书长/技术转移研究院院长金勤献,中国科技产业化促进会秘书长谭华,以及来自政务.金融.电力.公安.教育.通信.安全.交通.健康等行业领域的400余位代表参加了会议,共同探

Informatica通过自动数据治理与合规实践 向企业交付可信及安全数据

Informatica数据治理与合规解决方案是业界首款智能的单一解决方案,使业务.技术和安全部门都参与到针对所有企业数据的治理活动中. • 能在整个企业范围内更加方便地访问.理解和使用数据,从而对企业整体数据治理及合规计划起到推动作用 • 充分发挥CLAIRE作用--CLAIRE是嵌入Informatica智能数据平台的智能应用 • 与业界领先的Informatica数据管理解决方案及产品系列相集成,范围包括内部部署数据.云数据和大数据. Informatica全球用户大会,中国北京,2017年

普元王轩:做好大数据治理,加速航空业数字化转型

9月20日,2017全球航空旅客大会在上海启幕.来自国内外政府机构.行业协会.国内外领先航空公司.机场集团等领导齐聚一堂,探讨面对全球化和数字化带来的全新挑战,在"一带一路"的时代背景下如何提高服务质量,革新航空旅客体验.普元大数据产品线总经理王轩出席会议,并发表演讲<做好大数据治理 加速航空业数字化转型>,强调航空业数字化转型,需要以大数据为驱动,做好面向业务的自服务大数据治理,上衔数据,下接用户,才能保证航空大数据的有效利用. 数字化时代席卷而来,航空业转型关键点浮出

大道至简的数据治理方法论

数据分析师的角色犹如一位大厨,原料有问题,大厨肯定烹饪不出色香味俱佳的大菜,数据有问题,数据分析师得出的结论自然也就不可靠. 如果你是一位大厨,刚刚眉飞色舞地给客人描绘了如何搭配一道色香味俱佳的大菜,甚至连炒菜的手法都一一交代了,当你备好了各种为这道菜增鲜增色的调料后准备烹饪时,才发现所需的主要原料有问题. 数据分析师的角色犹如一位大厨,原料有问题,大厨肯定烹饪不出色香味俱佳的大菜,数据有问题,数据分析师得出的结论自然也就不可靠,再好的数据分析方法论也只是建立在失真的数据基础上,苦心构建的数据体

金融行业大数据治理背后藏着什么样的答案?

ZDNET至顶网CIO与应用频道 11月04日 北京消息:金融行业是典型的数据驱动行业,自人民银行携手全国金融标准化技术委员会启动<银行业标准化体系框架>研究工作以来,人民银行先后下发了<金融业机构信息管理规定>.<贷款统计分类及编码标准(试行)>.<存款统计分类及编码标准(试行)>等多项标准,并牵头组建了有24家银行组成的金融统计标准化工作小组,加大数据标准化的工作力度."数据是重要资产"的观念已经在金融行业成为共识.那么,问题来了:

政府拥抱大数据 治理迎来新格局

文章讲的是政府拥抱大数据 治理迎来新格局,在全社会信息量爆炸式增长的背景下,政府部门该如何拥抱大数据?专家建议,一方面要加强与大数据分析企业.互联网公司的合作,获取更丰富的数据,另一方面要开放一些政府数据给企业,发挥企业的智力资源与技术实力,为政府提供决策支撑- 国办近日印发<关于运用大数据加强对市场主体服务和监管的若干意见>,提出充分运用大数据先进理念.技术和资源,加强对市场主体的服务和监管,推进简政放权和政府职能转变,提高政府治理能力. "这是适应时代需求的必然选择,是智慧城市建

对于坐拥海量数据的金融企业来说,大数据治理意味着什么?

玉不琢不成器,一块没有经过雕琢的美玉,需要经过琢磨打造之后,才能显现出它的真正价值.对于金融企业来说,数据不只包括自身业务系统中为支撑正常业务流转的数据,还包括从外界交易流中收获的大量第三方数据,这些数据就像是未经雕琢的美玉,需要"大数据治理"这一"雕琢"的过程来对数据进行价值发现. 对于坐拥海量数据的金融企业来说,大数据治理意味着什么? 责任编辑:editor004 |  2016-10-10 11:09:15 本文摘自:C114中国通信网 玉不琢不成器,一块没有

EMC首席数据治理官:“受托人”是数据湖问责的关键

据EMC公司自己的首席数据治理官Barbara Latulippe称,今天的首席数据官(CDO)想要成功的话就需要得到高级管理层的认可和接受.今年在美国麻省理工学院举行的首席数据官CDO论坛上,Latulippe分享了促进数据所有权和数据访问的最佳实践,以及EMC在数据湖方面尝试的方法. 治理当前的数据湖 治理是Latulippe第一个详细谈到的问题,她把自己团队在数据管理方面的逐步成熟归功于EMC公司的历史.给标记和编目数据湖中的数据创建一个框架,这是数据治理的第一步. 所幸的是,Latuli