大数据:释放应用价值,数据融合先行

文章讲的是大数据:释放应用价值,数据融合先行,我们所处的社会已经从IT(Information Technology)时代全面跨入DT(Data Technology)时代,数据渗透到当今每一个行业和业务职能领域,成为关键的生产要素之一。从Gartner发布的大数据技术成熟度曲线图中可以看出,大数据已不在是停留在概念层面,而是正式进入了产业化应用进程中。据统计,仅全球交通、教育、消费、电力、能源、健康与金融等7大重点领域的大数据应用潜在价值就在3.2万亿-5.4万亿元左右,大数据潜在发展空间巨大。

  然而,从中国信息通信研究院的另一组数据表明,国内实际的应用情况尚有差距,据统计有44%的企业还没有大数据部署和应用,24%的部署了但未实现大数据应用,只有1/3的企业初步应用了大数据,是什么制约了大数据的快速普及之路? 中国工程院院士、中国互联网协会理事长邬贺铨院士在2017大数据产业峰会上表示:"数据资源的流动性和可获取性是大数据应用和产业发展的基础,直接关系到大数据价值的实现情况。"

  传统的统计分析经常是对单一数据源(营销数据、行政报表、问卷调查、人口普查等)进行深入的追踪和分析。分析人员对数据的来源和结构有一定的控制和深层的了解。但在大数据时代,数据源是多样的、多种形态的,海量的数据常常是半结构或无结构的。从数据获取到最终的数据价值呈现要经历数据从源头接入、处理、存储计算到分析挖掘、应用、服务的完整数据生命周期。这就要求数据科学家和分析师驾驭多样、多源的数据,将它们梳理后进行挖掘和分析。在这个过程中,数据融合就成为不可或缺的一步。

  所谓数据融合,是以产生决策智能为目标将多种数据源中的相关数据提取、融合、梳理整合成一个分析数据集合,实现数据资源的流动和易获取,从而支撑多样并呈碎片化的商业智能服务使用。来自赛迪智库的调研,现实中实施的大数据项目至少有80%的时间和经费花在了数据准备上,其中多源数据的融合是最耗费资源的任务之一。纽约时报也曾报道: “数据科学家把高达80%的时间用于数据准备而不是用来发现新的商业智能”。

  伴随着人们对数据应用价值的不断渴求,区别于传统数据统计的需求,用户对大数据的数据准备有着更高的要求:

  第一, 多源。除了众所周知的数据开放度的影响之外,多源数据融合的另一个瓶颈在于如何打破原有垂直建设系统间的信息孤岛、构造统一的整体的数据平台,把分散但相互有关联的数据以整体的视角看待和思考并进行管理,并且通过这样的统一平台,对上层碎片化的或需要快速迭代的大数据应用进行有效、良好的支撑。比如在数据抓取中,要充分考虑传统企业已经具备大量系统存在的情况,而对于这些系统在不干扰的情况下,如何能够把数据准确、高效、实时的拿得出来,快速认清企业有什么样的数据原材料。这在非常多的尤其是政府、大型企业里面是个很大的挑战。另外,数据进来之后,因为系统和系统之间的建设时间是不同的,数据的表现形态也是各异的,我们要对这些数据进行横向之间的处理并且能把这些数据关联起来,让分散的数据形成一个整体,这都是数据融合过程中所要解决的问题。

  第二, 实时。万物互联的趋势下,人们不仅对于数据的数量,也对数据的时效性提出了愈来愈高的要求,有一组数据表明12%的管理者都能认识到数据对于企业或组织的巨大影响,然而,53%的管理者认为太多的核心信息不能及时获得。特别是在某些连续性业务运转的应用场景下,比如通信、金融、安全领域等,需要通过大数据技术对业务数据进行实时同步的收集、整合与挖掘分析,用以指导甚至是随时根据数据变化而调整业务策略,而不是把业务系统停掉先分析再作出决策。对未来的预测远比做事后诸葛更能体现大数据的潜在价值。

  第三, 海量。在DT时代,数据量急剧爆发,据IDC预测,目前全球每年数据的生产量是 8ZB( 1ZB=1024EB),2020 年将达到 40ZB。我们已经从“传统互联网”时代的“线上数据化”阶段和“互联网+”时代的“线下数据化”阶段,快速进入了“数据流通时代”,即线上线下全产业实现数据化,数据在产业链上下游甚至跨产业流通并创造价值的阶段。在这一过程中,目前数据的生产速度和能力远远大于我们对其使用和价值变现的速度和能力。对数据业务价值的高期望值和落后的数据集成方案之间的矛盾日渐突出。互联网、物联网、云计算,我们的业务系统每时每刻都在产生着大量的不同来源的数据,如何及时、有效、全面的捕获到这些数据是另外一个会直接影响数据价值体现的关键因素。

  多源、实时和海量,是大部分大数据应用中的普遍性要求,特别是在智慧城市等具有跨行业、跨系统、跨职能整合需要的信息化项目中,科学高效的数据融合方案至关重要。前不久,在“2017大数据产业峰会”上,湖北省升级政务云“楚天云”项目就凭借其创新的数据融合模式荣膺“2017年度政务大数据优先应用案例奖”。作为“智慧湖北”建设的核心工程,“楚天云”是目前国内安全等级最高、规模最大、技术领先的省级政务云之一,承载了湖北省的52个省直部门的330个应用系统的各类海量政府核心数据。

  在“楚天云”建设之初面对数量庞大的多个系统,数据的流通和融合面临巨大的难题。在经过充分的调研和技术对比后,“楚天云”选择了数据交换枢纽平台的思路,采用目前国内领先的大数据技术厂商—翱旗科技的R7系列产品技术,把数据交换平台架设于楚天云自身的IaaS云平台之上,通过数据集成交互技术和数据资产管理技术,消除不同操作平台、不同类型数据库、不同结构数据之间的堡垒边界,真正做到数据层面的互通、整合、联动,实现了数据间的无障碍互通。同时,通过非侵入式、无代码图形化集中管控,为管理者和使用者提供了高度易用性和低成本的管理运维模式。在“楚天云”的后续应用中,将通过建设这一数据交换枢纽平台,在省级范围内建立起一种数据大平台与碎片化应用结合的数据生态系统,构建起从数据产生到数据应用的整套机制,提高数据的活跃度和利用率,让数据价值得以真正呈现。目前,建成后的“楚天云”数据交换枢纽平台能够达到秒级传输几百G的数据量,业务端和数据平台端数据几乎同步,完全能够满足管理决策者对于海量数据实时交互的需求,使具体业务场景下的效率提升,缩短决策时间,让大数据价值得以体现。从数据融合角度看,“楚天云”案例,在“智慧政务”领域为其他智慧城市项目提供了可参考借鉴的成功实践。

  作为“楚天云”数据交换枢纽平台的建设者之一,翱旗科技定位于数据基础科学研究,并拥有领先自主核心技术,所研发的产品以通用化为基础、自动化为实现方式、智能化为目标,在“数据采集与融合、数据管理、存储、挖掘与分析、可视化”整个数据生命周期中形成了独有的产业闭环。在“楚天云”项目中,翱旗以数据融合为核心思路,基于数据底层技术,针对任何数据类型,通过对数据的实时感知、处理和管理等赋能过程,将繁琐、复杂、高难度、高风险的数据需求标准化和组件化,能够完成对省级多源海量数据的融合管理,为“智慧湖北”提供数据层面的完全支撑。除了应用于智慧城市项目中,翱旗科技还进一步把数据融合技术进行了产品化。据悉,2017年4月13日,翱旗科技将正式发布针对大数据领域的系列通用化产品,包括数据集成交互产品和分布式数据库产品等,能够把大数据领域的系列技术和服务转化成标准化、通用化的产品,这在国内尚属首次。

  最近几年,像翱旗这样的国内外大数据技术公司开始纷纷将数据处理整合过程中相关技术集合、组合,提升后开发出专门用于数据融合的新工具。应用这些直观、可视、高效的软件工具,数据准备过程的工效大大提高,在一定程度上解决了数据融合的技术瓶颈。2016年Gartner公司数据管理和分析软件工具的评估报告显示,数据融合处理类自我服务式数据准备软件(Self-service Data Preparation)已成为发展最快的工具之一。伴随着大数据应用需求的日益深入和普及,面向解决数据融合问题的通用化技术产品无疑将迎来更多的发展机会。

作者:谢涛

来源:IT168

原文链接:大数据:释放应用价值,数据融合先行

时间: 2024-11-17 19:43:09

大数据:释放应用价值,数据融合先行的相关文章

一把一把捞大数据 释放无限价值

电商平台对于传统经济是个怎样的存在?是阻碍还是发展,全看你如何选择.面对新环境还依然按照传统模式发展必然会受到阻碍,经济就是要在新的环境下适应新的发展,只故步自封不会有大发展.一把一把捞让电子商务与大数据技术进一步融合,释放无限价值. 一把一把捞大数据 释放无限价值 责任编辑:editor004 |  2016-09-19 11:22:04 本文摘自:大河网 电商平台对于传统经济是个怎样的存在?是阻碍还是发展,全看你如何选择.面对新环境还依然按照传统模式发展必然会受到阻碍,经济就是要在新的环境下

有效利用大数据资源,释放数据隐藏的价值

数据的真实价值就像漂浮在海洋中冰山,第一眼只能看到冰山一角,而绝大部分则隐藏在表面之下.在大数据时代,数据的价值仍然存在,只是处于"休眠"状态,而要解锁这些数据的价值,就必须通过统计人员的不懈努力并借助新一代的方法和工具,来释放数据隐藏的价值. 大数据来袭势不可挡 世界每时每刻都在产生数据,数据又开始以几何级增长,这种增长速度已经不是"爆炸"二字可以形容的了.国际数据公司(IDC)的<数据宇宙>报告显示:2008年全球数据量为0.5ZB,2010年为1.

王叁寿:重视大数据所释放的价值

国家大数据战略正式纳入"十三五"规划,"十三五"规划中提到,要实施国家大数据战略,把大数据作为基础性战略资源,全面实施促进大数据发展行动,加快推动数据资源共享开放和开发应用,助力产业转型升级和社会治理创新. 2016年被业界称之为真正意义上的"大数据元年".事实上,2015年,国内数据企业创业已是风起云涌.其中,贵阳大数据产业的发展兼具代表性和创造性. 近日,贵阳大数据交易所执行总裁王叁寿在贵阳大数据交易所"2016战略部署新闻发布会&

占领大数据产业链的价值高地

当大家还没搞清楚PC时代的时候,互联网来了:还没搞清楚互联网的时候,移动互联网来了:还没搞清移动互联网的时候,大数据时代来了.在大数据时代,三分技术,七分数据,得数据者得天下的新经济模式逐渐凸显. 数据服务产业崛起 大数据是传统统计行业与互联网精神相结合的新领域,通过电子信息化大大降低了传统统计成本.经过多年的发展,由少量经典案例到广泛数据应用,新确定的第三数据服务产业地位渐渐清晰. 权威机构预测,2014年全球大数据技术服务支出将超过140亿美元,2018年市场年均复合增长率将达26%,支出增

“数聚上海 共赢未来” 上海大数据产业高端峰会 Cloudera让大数据实现更多价值

ZDNet至顶网服务器频道 07月13日 新闻消息:今天,大数据已经是一个绕不开的话题了.然而怎样才能拥有大数据能力,却是众多企业头疼的问题.毕竟大数据能力并不是简单的拥有大数据,而是如何利用大数据来创造更多的价值.可以预见的是,在大数据成为趋势,成为国家战略的今天,大数据的有效利用和相应解决方案成为人们普遍关心的课题. 7月9日,由上海大数据产业技术创新战略联盟.上海产业技术研究院. 肯睿(上海)软件有限公司,北京精准数源信息技术有限公司共同举办的"2015上海大数据产业高端峰会"圆

5G时代:连接和计算无处不在数据释放价值

2020年,通过网络互相连接的设备数量将达到500亿台.联网设备的爆炸式增长及其带来的数据洪流,让我们站在了下一轮技术革命的起点,从这里我们将迈向一个真正智能互联的世界.这是自模拟技术时代转型到数字技术时代之后,规模最大的一次技术变革. 作为下一代无线通信技术的5G将充分释放数以亿计的物与设备及其所生成数据的潜力,为跨越多样性设备和多应用场景的智能互联世界奠定基础.在英特尔看来,5G不仅仅是通信行业向前迈出的革命性的一步,它还拥有一个比无线和通信行业广泛得多的生态系统. 5G是智能互联世界的基石

大数据时代:挖掘飞行数据价值

大数据时代已经来临. 航空公司也同样拥有大量的数据,仅飞行数据就可以包含QAR(快速存取记录器)数据.运行签派数据和飞行计划数据等,数据规模巨大.然而,掌握这些庞大的数据信息只是基础,将这些有含义的数据进行专业化处理,挖掘其价值才能达到帮助航空公司经营决策的目的. 从2011年开始,山东航空公司尝试综合集成QAR.运行签派.飞行计划等飞行数据,搭建飞行数据综合利用系统这一综合平台.2013年,该系统建设完成.山航利用该平台监控临时航线的使用情况,合理安排临时航线.2013年,山航全年缩短飞行距离

专访崔崇彦:大数据的真正价值在于预测,而不是说明现状

在美国沃尔玛,啤酒和尿布两个货架被放在一起,因为买啤酒的爸爸一般都会拿一包尿布回家.先于大数据概念,大数据的逻辑就已经出现在商业领域. 如今,大数据和"互联网+"已经成为人人谈及的流行用词.但2015年,人们专注于技术层面的探讨--怎样获取,如何通过技术手段获取人流信息.购买信息等.2016年,突破设备壁垒后,怎样把这些数据进行分析.解读,将数据转化为运营价值,对自我和竞争对手进行考察,成为行业需要面临和探讨的一件大事. 2016年,大数据都经历了什么?未来的大数据能够做什么?今年的商

浪潮云海IOP:挖掘大数据最佳应用价值

从近日举行的Inspur World 2014(浪潮技术与应用大会)上分享的各个观点及实例来看,信息技术正在改变政府的社会治理方式,企业的经营方式,我们的生活方式,甚至思维方式,信息化开始以应用为中心向数据为中心的转变.这就对政府如何提升科学治理水平和社会服务水平提出挑战.浪潮认为政府和企业应以互联网的开放思维,发挥社会力量进行信息化建设,其中的关键之一就是整合组织内部数据.融合组织数据和互联网数据.开放组织数据,利用云海IOP等大数据平台产品充分挖掘沉睡数据的巨大价值. 大数据价值宝藏亟待深度