《大数据管理概论》一2.7 小结

本节书摘来自华章出版社《大数据管理概论》一书中的第2章,第2.7节,作者 孟小峰,更多章节内容可以访问“华章计算机”公众号查看

2.7 小结

本章围绕如何获取高品质知识、最大程度地发挥大数据价值这一问题,首先提出了大数据融合的概念并分析了大数据融合的独特性和任务。其次面对大数据融合这一类新颖任务,对比、分析了各领域目前的融合范式,归纳了现有融合范式的缺陷。最后提出了动态演化的数据融合与多维度多粒度的知识融合双环驱动的大数据融合范式。与传统融合范式相比,大数据融合范式具有显著不同的特点:①融合对象区分数据和知识;②可实现变粒度数据资源提供和多维度知识呈现;③大数据融合范式中知识融合与数据融合相互启发,使获取的知识品质更高;④提供了大数据融合的可回溯机制,可操作和可理解性强;⑤大数据融合(BDF)揭示了数据背后的深层意义。但是,大数据融合是一个多学科、跨领域的研究课题,这一范式的实现不仅需要各领域科研人员的广泛参与和紧密合作,更迫切需要将各领域的技术、方法向新的深度和广度拓展,做到大跨度、深层次融合。

时间: 2024-08-01 07:09:17

《大数据管理概论》一2.7 小结的相关文章

《大数据管理概论》一3.5 小结

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.5节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.5 小结 在新型存储介质中,PCM比闪存更适合作为DRAM的扩展.而且,在计算机体系结构中将PCM上升到与DRAM同等的地位,利用PCM的按字存取.非易失等特性,有望克服CPU.DRAM与数据存储之间的性能鸿沟.分层混合存储技术将是解决大数据存储问题的有效方法.一方面是因为应用数据本身存在着访问频度上的差别,二是将所有数据统一存储无论是经济上还

《大数据管理概论》一1.3 大数据应用

本节书摘来自华章出版社<大数据管理概论>一书中的第1章,第1.3节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 1.3 大数据应用 人类历史上从未有哪个时代同今天一样产生如此海量的数据.数据的产生已经完全不受时间.地点的限制.从采用数据库作为数据管理的主要方式开始,人类社会的数据产生方式大致经历了3个阶段,而正是数据产生方式的巨大变化才最终导致大数据的产生. 1)运营式系统阶段:数据库的出现使得数据管理的复杂度大大降低,实际中数据库大都为运营系统所采用,作为

《大数据管理概论》一2.5 知识融合技术

本节书摘来自华章出版社<大数据管理概论>一书中的第2章,第2.1节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 2.5 知识融合技术 知识融合是将数据融合阶段获得的笼统的知识转化为可领悟知识,面向需求提供知识服务.它需要挖掘隐含知识,寻找潜在知识关联,进而实现知识的深层次理解,以便更好地解释数据.为此,我们给出知识融合的实现步骤:①对知识进行抽象和建模,为后续知识融合提供方便:②通过对表层知识的推理.理解,得出显式深度知识,如通过多路径关系推理得到间接知识:

《大数据管理概论》一3.3 基于新型存储的大数据管理

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.3节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.3 基于新型存储的大数据管理 闪存.PCM等新型存储的物理特性.读写特性等均与磁盘有着显著的不同,而目前已有的大数据数据库,其设计理念均是基于磁盘存储,在面对闪存.PCM等新型存储时并不能最大限度发挥新型存储的性能.目前,在基于新型存储的大数据管理方面也有一些研究工作,包括大数据存储.大数据索引.大数据查询和大数据分析等. 3.3.1 存储管理

《大数据管理概论》一2.3 大数据融合的方法论

本节书摘来自华章出版社<大数据管理概论>一书中的第2章,第2.3节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 2.3 大数据融合的方法论 由2.2节的分析可知,大数据融合是一个多学科跨领域的研究问题,它的任务是将碎片化的数据相联系,将分散的数据集中,形成表层知识,即知识资源:进而使隐性知识显性化,使表层知识上升为普适机理.从而在数据资源.知识资源与用户之间建立有效的联系,缓解数据的无限性.知识的零散性与用户需求无法满足之间的矛盾,最大限度地提升大数据的价值

《大数据管理概论》一3.2 大数据存储与管理方法

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.2节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.2 大数据存储与管理方法 闪存.PCM等新型存储介质的引入使得大数据存储架构有了多种选择.但由于新型存储介质在价格.寿命等方面与传统的磁盘相比不具优势,因此目前主流的观点是在大数据存储系统中同时使用新型存储介质和传统存储介质,由此产生了多种基于新型存储的大数据存储架构,如基于PCM的主存架构.基于闪存的主存扩展架构.基于多存储介质的分层存储架构

《大数据管理概论》一3.4 大数据处理与存储一体化技术

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.4节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.4 大数据处理与存储一体化技术 日益增长的数据量对当前计算机系统提出了重大挑战.传统计算机系统依赖于计算为中心的计算和存储分离的计算模型.互联网的广泛应用.业务流的日趋复杂和数据获取方式的增多催生了大数据时代的到来,随后以"MapReduce"为核心思想的各类大数据系统蓬勃发展.然而,大数据计算存在的单节点存储容量小.计算实

《大数据管理概论》一2.4 数据融合技术

本节书摘来自华章出版社<大数据管理概论>一书中的第2章,第2.1节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 2.4 数据融合技术 数据融合需要用动态的方式统一不同的数据源,将离散的数据转化为统一的知识资源.另外,大数据的关联性使得融合步骤之间相互影响,传统的流水线式融合不再满足现有融合需求.面对新的融合需求,反馈迭代机制显得极为重要.为此,我们给出数据融合的新的实现步骤:①对齐本体.模式,加速融合效率:②识别相同实体.链接关联实体:③甄别真伪.合并冲突数

《大数据管理概论》一2.2 大数据融合的概念

本节书摘来自华章出版社<大数据管理概论>一书中的第2章,第2.2节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 2.2 大数据融合的概念 众所周知,大数据价值链是一个阶梯式循环过程:"离散数据→集成化数据→知识理解→普适机理凝练→解释客观现象.回归自然",每一个链条是对大数据的一次价值提升.为了实现这一价值,我们提出了大数据融合的概念,它是获取高品质知识.最大程度发挥大数据价值的一种手段,它的重要性毋庸置疑.但是,大数据的特征已经发生变化