不可能完成的任务?数据治理过程需要大数据

“大数据”的能够带给企业竞争优势的诱人条件,包括可以使用其来解锁客户的机密,了解网站使用情况和业务的其他关键要素。但是,一切应以谨慎为准:如果没有适当的数据管理过程,只是一味的热情,">大数据项目可能会带来混乱的麻烦,包括虚假数据和意想不到的成本。

数据治理的作用便是为了保护大数据。虽然大数据通常涉及到大量非结构化信息,许多企业的IT部门发现大数据还仅仅只是最近的现象。因此,根据数据管理分析师表示,大数据的环境治理还处在其早期阶段,关于如何有效地进行大数据的管理还存在诸多广泛的方法。

“大数据是这样一个新的领域,到目前为止还没有人开发出相关的管理程序和政策。”Forrester研究公司的分析师BorisEvelson在马萨诸塞州剑桥说。“而且存在的问题比答案要多得多。”

一个根本的问题是,大数据池更多的是面向数据的勘探和发现,而非传统的商业智能报告和分析,Evelson补充说。他说,这带来了一个恶性循环:“数据不能被管理直到其被模型化,但又必须在通过数据分析之后才能被模型化。”

数据管理程序提供了一个框架,用于设置数据使用政策和实施控制,以确保信息保持准确一致和可以被访问。显然,在这个重大挑战的过程中,管理大数据需要分类、建模和数据映射,并进行数据捕获和储存,特别是针对大量非结构化特性的信息。

“为了从大数据中获得有意义的商业信息,我们需要做各种各样的准备工作,类似于数据的语义分析,然后将其渲染成概念模型或本体的语义分析。”位于新泽西州Holmdel的数据管理的顾问公司AskGet的总裁马尔科姆·奇泽姆说。

在大数据中寻找线索

困难的是,大数据治理过程中的一切是那么的新。“在谈到大数据时,存在着很大的不成熟,大部分数据管理者真的可以说是毫无头绪。”奇泽姆说。

大数据,其中也包括大量的结构性交易数据,具有特殊的功能。通常用三个词来定义:数量、种类和速度。而Forrester还在其定义中增加了变化性这一特性,而其对手咨询公司Gartner则将这一特性定义为复杂性。

此外,数据往往来自外部来源,其准确性并不总是能很容易地验证;同时,文本数据的含义和上下文不一定是连贯的。在许多情况下,它存储在Hadoop的文件系统或NoSQL数据库,而不是传统的数据仓库。对于许多企业来说,大数据涉及所有有关的人员:IT经理、程序员、数据架构师、数据建模师和数据管理专业人员。

美国马萨诸塞州斯托雅典娜IT解决方案的创始人兼顾问里克·谢尔曼说,试图管理海量大数据的最大隐患之一是失去的业务优先级的视线。

例如,被企业抓获的大部分非结构化数据来自社会媒体,通常只有一小部分信息是有价值的,根据谢尔曼介绍。“试图管理或控制一切非结构化数据,将是一个很大的错误。”他警告说,企业最终可能会浪费时间和资源在不重要的数据上面。

加利福尼亚州纽瓦克GraniteFalls咨询公司总裁DanetteMcGilvray表示,如果没有经过理性的处理,大数据对数据管理和治理团队来说只可能是在消磨时间。“我们分辨大数据是否是值得管理的唯一途径是:我们必须知道哪些业务需要这些数据。”McGilvray说。“当涉及到大数据,我们仍然必须记住这一点。”

位于美国佛罗里达州奥兰多的数据治理研究有限责任公司,是一家咨询和培训公司,其创始人兼总裁格温·托马斯建议,传入数据的质量判断应该是数据管理经理的首要任务之一。她说,积极进行数据质量检查,可以节省很多时间和减少很多麻烦。

托马斯说,新数据映射到企业相关使用分类信息参考数据的重要性经常被低估。大数据与现有参考数据的对齐是“一个巨大的细节问题”她说。“事实上,如果这样做的不对,大数据的处理结果信息可能会产生误导,不准确或不完整的。”

为了帮助确保正确的数据映射,任务应该被分配到一个高级数据架构师,而不是留给一位不太有经验的数据建模师或于IT无关的人员,托马斯表示。

奇泽姆说,数据管理经理也应优先与那些经常启动大数据装置的程序员和数据模型企业用户进行对话。不过,这样的讨论应该从Hadoop和NoSQL的技术升值、以及他们与关系数据库有何不同、已经对需要一个统一的方法来管理的理解开始。

企业应该避免让程序员和用户从筒仓驱动的角度来建立大数据系统和所需的数据模型和映射工作。这可能会耗费很多的费用,造成设施不足,无法达到预期的商业利益,同时又浪费了不必要的系统投资。

(责任编辑:蒙遗善)

时间: 2024-07-30 07:14:00

不可能完成的任务?数据治理过程需要大数据的相关文章

从数据治理看医疗大数据的发展

摘要:云栖TechDay活动第二十三期中,宏优信息技术(上海)有限公司王珏总经理带来了题为<从数据治理看医疗大数据的发展>的分享,他主要与大家分享医疗大数据中数据治理的重要性,并结合具体案例来讲述大数据治理的框架和应用心得. 当前IT现在最头痛的事情之一.就是业务系统显烟囱式,大多在是10到30个之间,那么很明显,医疗信息共享是一个很大的挑战. 采用医疗大数据来促动医疗信息化发展和医疗管理精细化,第一点是改善患者的就医体验.大家知道为什么阿里巴巴这么受欢迎,你们为什么上淘宝,就是因为购物体验是

首届中国数据标准化及治理大会落幕 大数据基础能力建设方兴未艾

2016年11月6日,"首届中国数据标准化及治理大会"在清华大学圆满召开,国内外200多位各界代表参加了本次大会,共襄盛举.与会嘉宾围绕数据标准化及治理展开了热烈的讨论和交流,共同呼吁社会各界积极参与数据标准的制定和推广落实.会上,中国电子技术标准化研究院.清华大学数据科学研究院.国际数据管理协会中国分会(DAMA China)三方签署了数据标准化及治理的战略合作协议,对于国家大数据标准化的试验验证和应用推广做了明确的规划,共同推动形成大数据标准化的产业生态环境."清数DAM

普元亮相中国大数据企业大会 政务大数据五大核心需求

ZD至顶网CIO与应用频道 04月27日 北京消息:"以前我们上门抄电表,一个月记录一次.现在我们直接从电力系统采集数据,15秒记录一次.以前一个月的数据只有一张纸那么大,现在一个月的数据2000G硬盘都存不下.都说互联网大数据增长快,我们电力系统大数据才真的是'疯长'."这是普元信息副总裁王克强在2016中国(盐城)大数据企业大会上转述的一位国家电网河南电力信息采集员的故事. 随着物联网和移动互联网数据接入,数据规模迅速扩大.海量.动态.多样的大数据不仅出现在互联网.电商等新兴领域,

大数据如何改善社会治理:国外“大数据社会福祉”运动的案例分析和借鉴

一.背景 今年,国务院印发<促进大数据发展行动纲要>明确指出大数据将成为提升政府治理能力的新途径,提出:建立"用数据说话.用数据决策.用数据管理.用数据创新"的管理机制,-,推动政府管理理念和社会治理模式的进步. 与此同时,国外学术界和政府管理部门近年来也发起了一项"大数据社会福祉"(big data for social good)运动.与我国的目标相似,该运动也尝试将大数据技术与社会治理相结合,以数据驱动的方式应对现代社会中面临的一些复杂问题,增进社

政府治理能力: 大数据、云计算等技术已成“铁笼”

"大数据的发展,为提升政府治理能力带来了全新契机."贵阳市委书记陈刚在日前召开的"2016大数据产业峰会"上指出,当前社会整体仍处于体制转轨.经济转型.心态转变的关键期,政府治理面临新挑战.新情况,大数据思维和手段将成为政府治理手段现代化的最重要.最有力的推手. 贵阳发展大数据产业的经验表明:大数据时代,政府要领跑.作为全国首个大数据综合试验区,贵阳在应用大数据提升政府治理效能方面取得了巨大成就.诸如贵阳利用大数据.云计算等先进信息技术打造"数据铁笼&qu

社会治理要借力大数据

最近,陆续看到几则我市运用大数据助力社会治理的消息,被大数据的强大威力打动了. 一是我市交通执法部门借助大数据分析,精准查处高速公路非法营运车辆,一辆"黑车"日前在潼南收费站被查获:二是重庆法院运用人工智能与大数据,探索在信用卡纠纷案件中"智能判案",节约了时间,提升了效率,让一线法官有了好帮手:三是我市利用互联网和大数据技术,建立起全市固定资产投资在线监管服务平台,将政府办事窗口"搬"到企业用户办公室,让信息多跑路.企业少跑腿. 大数据很神奇,

在发展与治理中彰显大数据的时代价值

由2017中国国际大数据产业博览会组委会主办,中国行政体制改革研究会.工业和信息化部信息中心承办的"大数据时代:数字经济与数字治理"论坛日前在贵阳举行.来自党政机关.研究机构.知名企业的专家学者及业界人士就发展数字经济.完善数字治理交流研讨.现摘编观点如下: 邬贺铨(中国工程院原副院长): 数据使用必须承担保护的责任与义务 当前,我国数据流通与数据交易主要存在以下问题:数据源活性不够,数据中介机构还处于起步阶段:多源数据的汇集技术尤其是非结构化数据分析技术滞后:缺乏熟悉不同行业并掌握在

国家级化学品数据中心呼之欲出,大数据实现化工行业四大变革

工业和信息化部印发<石化和化学工业发展规划(2016-2020年)>.通过大数据,紧急应对当前化工行业产能结构转变.节能环保.安全监管.两化融合等问题. 近日,工业和信息化部印发<石化和化学工业发展规划(2016-2020年)>(以下简称<规划>).<规划>提出,要推动新一代信息技术与石化和化学工业深度融合,推进以数字化.网络化.智能化为标志的智能制造. "在工业互联网开发与应用方面,建设石化和化工行业互联网标准化体系,大力推进具有自主知识产权的工

数据开放共享是大数据竞争战略核心

文章讲的是数据开放共享是大数据竞争战略核心,随着大数据时代的到来,国家间的竞争正从对资本.土地.人口.资源及能源的争夺,转向对大数据的争夺.大数据颠覆性地改变了世界经济形态.国际安全格局.国家治理模式与资源配置方式.作为基础性.战略性资产的大数据,如何用.怎么用,不仅与经济基础的改造有关,也与上层建筑的改造高度相关,通过大数据来全面提升国家治理能力在当下是个紧迫的课题. 大数据带来的变革是全方位的.作为具有强大变革能力的大数据,不仅引发技术革命.经济变革,更引发政府治理的变革.事实上,信息技术革