基于MapReduce的GML并行查询

空间数据库中基于MapReduce的kNN算法研究 大连海事大学  刘彪 本文首次尝试设计了一种云环境下的倒排网格索引和在该索引基础上进行的基于MapReduce的空间kNN查询.本文所做的主要工作如下:(1)针对二维空间中的数据点,本文设计了一种分布式的倒排网格索引方法,该索引方法完全符合空间数据索引的标准一动态性和简单性.由于倒排网格索引具有松耦合和无共享的特殊结构,所以该索引比较适合基于MapReduce的大规模空问数据的并行查询.(2)本文提出了一种基于MapReduce的空间倒排网格索

一种基于MapReduce的并行聚类模型 顾瑞春  王静宇 在对海量数据进行聚类的过程中,传统的串行模式局限性越来越明显,难以在有效时间内得出满意结果的问题,本文提出一种基于Hadoop 平台下MapReduce框架的并行聚类模型.理论和实验结果证明该模型具有接近线速的加速比,针对海量数据具有较高效率. 一种基于MapReduce的并行聚类模型

基于MapReduce模型的生物量遥感并行反演方法研究 付天新,刘正军,闫浩文 MapReduce 模型是一种基于云计算平台下新型的并行编程模型.文中MapReduce 并行编程模型应用到遥感影像并行化处理中,以2005-2009 年5a生长季期( 5-10 月) MODIS13Q1 数据产品为数据源,对青海省三江源地区的生物量( 草地总生物量和可食草量) 进行并行化反演,研究基于该模型的生物量遥感并行反演方法.实验分析结果表明: 基于该模型的并行生物量遥感反演结果与经过精度验证的串行反演结果一

基于MapReduce的Skyline-join查询算法 孙大烈,李建中 Skyline查询是一种非常耗时的操作,而涉及多个表的Skyline查询(Skyline-join查询)则会给数据库系统带来更多的负载,从而影响整个系统的响应时间．为解决这个问题,提出了基于Google设计的MapReduce并行处理框架的Skyline-join查询处理算法,采用分片剪枝的方法降低复杂度,进而提高查询性能．在Amazon的云计算平台(EC2)上进行的实验表明,该算法可以有效减少冗余操作和网络数据传输,基本

在一个单独的服务器中安装更多的CPU成为目前的一个趋势.使用对称多处理服务器(SMP)的情况下,一个Oracle服务器拥有8个.16个或32个CPU以及几吉比特RAM的SGA都不足为奇.     Oracle跟上了硬件发展的步伐,提供了很多面向多CPU的功能.从Oracle8i开始,Oracle在每个数据库函数中都实现了并行性,包括SQL访问(全表检索).并行数据操作和并行恢复.对于Oracle专业版的挑战是为用户的数据库配置尽可能多的CPU.     在Oracle环境中实现并行性最好的方法之

并行查询其优势就是可以通过多个线程来处理查询作业,从而提高查询的效率.SQL Server数据库为具有多个CPU的数据库服务器提供并行查询的功能,以优化查询作业的性能.也就是说,只要数据库服务器有多个CPU,则数据库系统就可以使用多个操作系统进程并行执行查询操作,来加速完成查询作业. 一.并行查询三步走. 并行查询作业在数据库中,主要经过三个步骤. 首先,数据库会判断是否需要进行并行查询.在数据库中有一个查询优化器,会对SQL语句进行优化,然后数据库才会去执行查询语句.而这个查询器在对SQL语句

背景 随着PG9.5 项目的release,属于PG9.6的代码也陆续进入代码主干,其中最让人激动的特性并行查询终于进入了核心代码.pger们对这个新特性期待了太久的时间,代码刚提交我们就迫不及待的拿到,从设计到性能进行一番探究,并通过本文介绍给大家. 并行技术的过去和未来 这是个很困难的工作,要说清楚它需要讲清楚并行技术相关的一些背景. PG 目前的架构是基于多进程的,必要的信息通过共享内存这样的机制来传递. 该架构的好处是: 代码相对简单: 在多CPU环境下多会话任务可以由操作系统来调度:

本文档为PostgreSQL 9.6.0文档,本转载已得到原译者彭煜玮授权. 1. 并行查询如何工作 当优化器判断对于某一个特定的查询,并行查询是最快的执行策略时,优化器将创建一个查询计划.该计划包括一个 Gather 节点.下面是一个简单的例子: EXPLAIN SELECT * FROM pgbench_accounts WHERE filler LIKE '%x%'; QUERY PLAN --------------------------------------------------

正在看的ORACLE教程是:用Oracle并行查询发挥多CPU的威力.参数  让我们进一步看看CPU的数量是如何影响这些参数的. 参数fast_start_parallel_rollback Oracle并行机制中一个令人兴奋之处是在系统崩溃时调用并行回滚得能力.当Oracle数据库发生少有的崩溃时,Oracle能自动检测未完成的事务并回滚到起始状态.这被称为并行热启动,而Oracle使用基于cpu_count的fast_start_parallel_rollback参数来决定未完成事务的秉性程