政府应该更关注大数据管理

 这一状况是如何形成的

要理解这种预期的不协调,要先看看我们是如何走到一这步的。在90年代,数据仓库运动的主要目标是通过解决单一版本的事实满足机构的需求。

这需要仔细调和不同用户和部门之间对数据的解释,以至于每个人都可以达成共识。此外,有严格的数据质量检查,所以决策者对数据有信心。

因为大规模并行处理解决方案(比如Hadoop和列式数据存储或云)在90年代并不普遍,数据模型必须由专家进行设计,优化和维护以获得良好表现。

这些因素阻碍了让新类型的数据进入数据仓库,并经常导致昂贵,多年的程序,最终只有非常有限的效用。

今天,对单一版本企业级数据的需要不再是存储历史数据的主要目标。用户想要完全访问所有数据并与之交互的能力,能够快速提取洞察并释放数据的威力。

为了达到这个目标,政府的数据管理工作的焦点需要从数据仓库转移到数据管理。

  超越数据仓库

在我们当前的大数据的时代,单一企业的数据解释已经过时。旧的数据仓库时代专注于企业数据模型对数据属性创建固定的意义。数据仓库用户直接根据自己部门的需求过滤数据。

今天,在私营和政府部门预测分析的用途不断得到证明,我们必须重新审视企业的传统数据模型。

具体地说,我们应该接受使用模式,预测能力和数据属性的意义可以进化,随着机构在挖掘其数据变得更加成熟,在其领域部署预测模型并反馈性能结果完善模型,同时机构外部的事情也会影响其优先级。重要的区别如何使用数据。

  数据管理的区别

数据管理不同于传统的数据仓库。一个监管的数据存储是对数据用户的平台,它不必告诉用户如何使用或解释数据。数据用户使这些数据变得更有价值和有意义,例如,利用统计学习技术预测欺诈、不合规或病毒爆发等新兴趋势。

数据属性的重要性和意义是由多个使用数据的模型的预测能力所决定的,而这些“意义”可以反馈到监管的数据存储,因此它可以成为共享的企业资产。

这一过程使中央权威(又名数据管理员)不必是唯一的仲裁者或监管数据的瓶颈,这非常不同于90年代的传统数据仓库生命周期。

政府可以从这些数据仓库经验和90年代的问题中学习,包括技术所扮演的角色。当时,很难引入新的数据到数据仓库,并让大型数据库在实时分析中表现良好。

尽管今天的技术减少了对数据模型精细调整的需要,我们却不能简单地扔掉数据建模和创建一个数据湖。正如有许多专家指出,数据湖可以迅速变成一个数据沼泽。这就是为什么数据管理是必要和重要的。

从数据仓库过渡到管理还包括用户行为的变化。当监管数据呈现给用户时,对它们的预期会更多,而不仅仅是过滤的罐装报告。

数据管理归结为提供现成的数据。即用户知道数据元素的意思,他们从哪里来的,如何探索和挖掘它们,以及如何形成可行的洞察。让用户有能力和自由即时探索需要在用户和监管数据平台的维护者之间有不同的交往模式。

双方都需要新的技能。IT需要构建专业知识使数据以用户友好的方式获得——是明显不同于交付用户友好的应用程序和网站的专业知识。用户需要获得技能用更现代的方式与数据交互。用户需要比标准“工具培训”更多的学习。IT和用户需要体验现代数据挖掘和数据开采工具结合在一起的威力,在他们机构设置的数据。

这样做会让IT有信心从创造完全规范的独立应用程序转而创建数据平台,而用户反过来会降低他们对昂贵的用例特定应用程序的胃口。

这种业务和IT之间关系的改变是唯一使预测分析变得民主化并帮助使政府更迅速和更有效地应对挑战的方式。

本文转自d1net(转载)

时间: 2024-10-14 19:42:53

政府应该更关注大数据管理的相关文章

江苏力推“不见面审批” 筹建省级大数据管理中心

作为对"放管服"改革落实的第一抓手,江苏推出的"不见面审批"受到了国家层面的重视,被列为经典经验向全国推广. 所谓"不见面审批",就是通过对互联网技术的应用,推进政务服务事项网上办理并"应上尽上",需求方在电脑端就可完成操作. 截至10月31日,江苏省市县三级行政机关共计118857项政务服务事项实现了网上办理,占比达98%,这也让政务网归集收纳的各类数据达到60多个T的容量. 根据中央精神,江苏省政府近日召开会议,对&quo

《大数据管理概论》一1.5 大数据管理的关键技术

本节书摘来自华章出版社<大数据管理概论>一书中的第1章,第1.5节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 1.5 大数据管理的关键技术 综上所述,大数据时代的数据存在如下几个特点:多源异构.分布广泛.动态增长.先有数据后有模式.正是这些与传统数据管理迥然不同的特点,使得大数据时代的数据管理面临着新的挑战,下面会对其中的主要挑战进行详细分析. 1.5.1 大数据融合 数据的广泛存在性使得数据越来越多地散布于不同的数据管理系统中,为了便于进行数据分析,需要

阿里助政府办案引争议 大数据未来在哪?

文章讲的是阿里助政府办案引争议 大数据未来在哪,政府大数据.金融大数据.教育大数据等热词虽一次次被提起,大数据的价值也十分被认可,但其实际的应用的典型案例并未被曝光多少,很多人对大数据的实际应用形式并不了解.然而近日,浙江省高级人民法院与阿里巴巴在大数据方面达成了合作协议,聚焦阿里旗下淘宝.阿里云和蚂蚁金服在云计算.大数据和用户方面的资源优势,帮助浙江高院构建司法领域的大数据服务体系. 双方合作的方式是,利用浙江省各级法院丰富的案例资源,结合互联网大数据的优势和阿里巴巴的多维度分析.数据可视化.

《大数据管理概论》一2.5 知识融合技术

本节书摘来自华章出版社<大数据管理概论>一书中的第2章,第2.1节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 2.5 知识融合技术 知识融合是将数据融合阶段获得的笼统的知识转化为可领悟知识,面向需求提供知识服务.它需要挖掘隐含知识,寻找潜在知识关联,进而实现知识的深层次理解,以便更好地解释数据.为此,我们给出知识融合的实现步骤:①对知识进行抽象和建模,为后续知识融合提供方便:②通过对表层知识的推理.理解,得出显式深度知识,如通过多路径关系推理得到间接知识:

《大数据管理概论》一3.3 基于新型存储的大数据管理

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.3节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.3 基于新型存储的大数据管理 闪存.PCM等新型存储的物理特性.读写特性等均与磁盘有着显著的不同,而目前已有的大数据数据库,其设计理念均是基于磁盘存储,在面对闪存.PCM等新型存储时并不能最大限度发挥新型存储的性能.目前,在基于新型存储的大数据管理方面也有一些研究工作,包括大数据存储.大数据索引.大数据查询和大数据分析等. 3.3.1 存储管理

《大数据管理概论》一2.3 大数据融合的方法论

本节书摘来自华章出版社<大数据管理概论>一书中的第2章,第2.3节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 2.3 大数据融合的方法论 由2.2节的分析可知,大数据融合是一个多学科跨领域的研究问题,它的任务是将碎片化的数据相联系,将分散的数据集中,形成表层知识,即知识资源:进而使隐性知识显性化,使表层知识上升为普适机理.从而在数据资源.知识资源与用户之间建立有效的联系,缓解数据的无限性.知识的零散性与用户需求无法满足之间的矛盾,最大限度地提升大数据的价值

《大数据管理概论》一3.4 大数据处理与存储一体化技术

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.4节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.4 大数据处理与存储一体化技术 日益增长的数据量对当前计算机系统提出了重大挑战.传统计算机系统依赖于计算为中心的计算和存储分离的计算模型.互联网的广泛应用.业务流的日趋复杂和数据获取方式的增多催生了大数据时代的到来,随后以"MapReduce"为核心思想的各类大数据系统蓬勃发展.然而,大数据计算存在的单节点存储容量小.计算实

物联网驱动下的大数据管理

导言:物联网的价值在于其数据,而物联网带来的史无前例的数据规模将驱动现在的数据服务企业发生根本性改变,这要求企业调整其大数据战略. iDoNews 业内人说 第369期 7月9日 ( 微信号 iLoveDonews ) 具有"大数据时代预言家"之称的维克托·迈尔曾经在自己的著名论著<大数据时代>中预言--物联网(IOT)技术的发展将极大地改变传统数据存储分析领域.这就难怪有那么多的公司正试图投身物联网大潮.据麦肯锡全球研究院的最新报告显示:到2025年,物联网行业的总营收将

用友iUAP:应变“互联网+”时代的企业大数据管理与分析

企业运营模式在互联网+时代已经发生了革命性的转变,客户导向.实时运营.数据驱动.互联网化让企业从供应商.服务商.渠道商到客户,甚至最终用户都希望能够建立一个密切的联系. 并且伴随着互联网化的不断深入,企业也将越来越向着数字化发展.数据管理和分析数据的需求越来越大,而这需要多个平台配合解决.用友iUAP的数据平台和用友BQ商业分析平台则可以很好的支撑用户的不同需求,在互联网+时代快速帮助企业开展大数据管理和分析. 企业大数据管理发展进程 用友网络助理总裁,兼集团iUAP中心副总经理谢东指出,数字化