MapReduce框架下基于超平面投影划分的Skyline计算

MapReduce框架下基于超平面投影划分的Skyline计算

王淑艳 杨鑫 李克秋

近年来，Skyline计算在决策应用中起着越来越重要的作用.针对单机处理的研究已较为成熟.现今大数据爆炸，Skyline计算面临着大数据处理的问题.MapReduce是一个并行模型，广泛应用于数据密集型应用处理中.众所周知，MapReduce处理要求任务是可分解的.Skyline计算在MapReduce上执行时，分解任务的方法有网格划分、基于角度的划分等.网格划分仅在数据维度较低时表现良好；基于角度的划分适用于低维和高维数据，但在划分前需要一个复杂并且费时的坐标转换过程.现采用一种与基于角度的划分类似的基于超平面投影的划分来分解数据集，这种划分适用于低维和高维数据，而且其在划分前的坐标转换较为简单.根据超平面投影的划分提出了一种在MapReduce上处理Skyline计算的算法MR-HPP(MapReduce with hyperplane-projections-based partition)，并在该算法的过滤阶段提出了一种有效的过滤算法PSF(presorting filter).大量基于Hadoop平台的对比实验表明该算法的准确性、高效性和稳定性.

MapReduce框架下基于超平面投影划分的Skyline计算

时间： 2024-10-05 08:16:46

MapReduce框架下基于超平面投影划分的Skyline计算的相关文章

MapReduce框架下Aprioi算法的改进

MapReduce框架下Aprioi算法的改进 王鑫 王喻红 于娇 葛冬梅 海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上.每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集.改进后的算法可以减少各个节

MapReduce框架下的实时大数据图像分类

MapReduce框架下的实时大数据图像分类 张晶 冯林 王乐 刘胜蓝 图像数据作为大数据的重要组成部分蕴含着丰富的知识,且图像分类有着广泛的应用,利用传统分类方法已经无法满足实时计算的需求.针对此问题,提出并行在线极端学习机算法.首先利用在线极端学习机理论得到隐层输出权值矩阵;其次根据MapReduce计算框架的特点对该矩阵进行分割,以代替原有大规模矩阵累乘操作,并将分割后的多个矩阵在不同工作节点上并行计算;最后将计算节点上的结果按键值合并,得到最终的分类器.在保证原有计算精度的前提下,将文中

关于 SSH框架下 基于MYSQL数据库 的上传下载

问题描述 网上关于SSH框架上传下载的资料有很多,本人也下载了很多,但网上例子是用Oracle9i做的,说"用MYSQL实现一样很简单",可在下百试不得其解,下面是我的Spring配置文件,其他的比如DAOBIZ还有表单以及action都写好了,可是每到一部署就出现错误,请大家帮忙看看,时间比较紧迫,期待正解.网上有人也处理过这个问题,我就是按照他调试成功后的方法写的配置文件,可是部署出错,主要问题应该是在我标红的地方,请看下Spring配置文件:<?xmlversion=&qu

更快、更强——解析Hadoop新一代MapReduce框架Yarn

对于业界的http://www.aliyun.com/zixun/aggregation/13982.html">大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,随着需求的发展,Yarn 框架浮出水面, @依然光荣复兴的 博客给我们做了很详细的介绍,读者通过本文中新旧 Hadoop MapReduce 框架的对比,更能深刻理解新的 yarn 框架的技术原理和设计思想. 背景 Yarn是一个分布式的资源管

在.NET框架下使用自定义配置设置

.net框架 .NET框架通过基于XML的配置使配置设置驾轻就熟.它同时还提供了必要的方法,通过集合类(Collection classes)访问这些设置. 通过一个静态的ConfigurationSettings类可访问实际的配置数据.该类还提供了一个GetConfig()方法,可向一个合适的集合返回一个对象.本文中,我将示范三种可用来访问和存储配置信息的方法. 应用配置数据存储在App.config文件,并由configSections节点定义.每一section都有一个type属性定义.这

.Net框架下的XSLT转换技术简介

.net框架|转换 一．前言: XSLT转换技术是XML中的一项重要技术,本文将向XML开发者介绍.Net框架下的一些不同的XSLT转换技术.同时,本文还将介绍如何运用各种不同的输入数据源以完成一个XSLT转换.在.Net框架下,System.Xml.Xsl.XslTransform类能根据一个XSLT样式表文件转换一个XML文档,它是XSLT转换中最重要的一个类,同时它能够支持W3C的XSLT 1.0的语法,其运用的命名空间是http://www.w3.org/1999/XSL/Transfo

在ASP.Net MVC框架下使用富文本编辑器

学了一段时间的ASP.Net MVC框架,想用ASP.Net MVC框架做一个Blog的小程序.找了半天也没有找到一个好用的可以直接在MVC框架下调用的好富文本编辑器.也许可以直接在MVC框架中引用原来asp.net webform的一些组件,不过总感觉不大舒服,所以计划自己动手写一个.我首先想到了FCKEditor,它其实是一个与平台无关的富文本编辑器,他可以在java,asp,asp.net webform环境下运行,当然也可以在ASP.Net MVC框架下使用.今天自己动手试了一下发现效果

《网络安全法》和云等保框架下，企业如何为安全掌舵？

还有两个月时间,<中华人民共和国网络安全法>就要正式实施.<网络安全法>首先对"网络(Cyber)"进行了重新定义,是指"由计算机或者其他信息终端及相关设备组成的按照一定的规则和程序对信息进行收集.存储.传输.交换.处理的系统",而"网络安全(Cyber Security)",是指"通过采取必要措施,防范对网络的攻击.侵入.干扰.破坏和非法使用以及意外事故,使网络处于稳定可靠运行的状态,以及保障网络数据的完整性.

Android中Volley框架下保持会话方法_Android

公司经理把我拉出来,死马当活马医,做一个安卓app,作为刚毕业几个月且只是培训了几个月的小白来说,这无疑是一个非常大的挑战,当然最大的挑战不是这个,最大的挑战时两个周做出来.这是最蛋疼的,说实话,对于有两三年的开发经验的人来说,两个周开发一个项目很简单,说不定还有很多时间用来干别的. 于是一上来就把自己给难住了,登陆还是很好做的,只要验证返回的信息就可以跳转,但是在接下来后面的数据接口连接的时候各种报错,整了两天,查了很多信息,还接受了公司老人的嘲讽和谩骂终于做出来了. 这个是基于session