[文档]基于MapReduce的Skyline-join查询算法

基于MapReduce的Skyline-join查询算法

孙大烈，李建中

Skyline查询是一种非常耗时的操作，而涉及多个表的Skyline查询(Skyline-join查询)则会给数据库系统带来更多的负载，从而影响整个系统的响应时间．为解决这个问题，提出了基于Google设计的MapReduce并行处理框架的Skyline-join查询处理算法，采用分片剪枝的方法降低复杂度，进而提高查询性能．在Amazon的云计算平台(EC2)上进行的实验表明，该算法可以有效减少冗余操作和网络数据传输，基本不受节点个数以及数据量的影响，具有很好的可扩展性．

关键词:Skyline查询;MapReduce;分布式算法;云计算

[下载地址]http://bbs.chinacloud.cn/showtopic-13036.aspx

时间： 2024-12-20 07:49:10

[文档]基于MapReduce的Skyline-join查询算法的相关文章

[文档]基于MapReduce的频繁项集挖掘方法

基于MapReduce的频繁项集挖掘方法 戎翔,李玲娟 为了改进关联规则挖掘的经典Apriori算法,设计一种基于Map/Reduce的频繁项集挖掘方法.通过搭建Hadoop平台,可使该方法得以实现,并籍此对该方法与Apriori算法的性能进行比较研究.实验结果表明该方法在对大数据集进行频繁项集挖掘时,可充分利用云计算的优势,从而能获得更好的时效性. 关键词:云计算:Hadoop Apriori:MapReduce [下载地址]http://bbs.chinacloud.cn/showtopic

[文档]基于Hadoop平台的并行数据挖掘算法工具箱与数据挖掘云

基于Hadoop平台的并行数据挖掘算法工具箱与数据挖掘云 [下载地址]http://bbs.chinacloud.cn/showtopic-12728.aspx

基于MapReduce的GML并行查询

基于MapReduce的GML并行查询 许斌   关佶红 针对应用地理标记语言(Geography Markup Language,GML)表示的海量空间数据查询问题,提出一种基于MapReduce的GML并行查询方法.通过提取GML空间特征集合,实现GML文档查询到GML空间特征集合查询的查询转化,并利用MapReduce实现空间特征并行查询. 基于MapReduce的GML并行查询

基于MapReduce编程模型的TFIDF算法研究

基于MapReduce编程模型的TFIDF算法研究 赵伟燕  王静宇 随着Internet等技术的飞速发展,信息处理已经成为人们获取有用信息不可或缺的工具,如何在海量信息中高效地获得有用信息至关重要,因此自动文本分类技术尤为重要.现有的文本分类算法在时间复杂性和空间复杂性上遇到瓶颈,不能满足人们的需求,为此提出了基于Hadoop分布式平台的TFIDF算法,给出了算法实现的具体流程,通过MapReduce编程实现了该算法,并在单机和集群模式下进行了对比实验,同时与传统串行算法进行了对比.实验证明,

基于MapReduce的分布式极图构造算法研究

基于MapReduce的分布式极图构造算法研究 北京交通大学 赵男 随着云计算技术的快速发展,很多与大规模数据处理相关的研究与应用都逐渐迁移到云计算环境中,如数据挖掘.网络搜索.图像处理以及生物信息分析等.对大规模的图数据处理技术也是当前高性能计算领域的研究热点.而在图论研究中,极图构造算法作为极图理论的一个重要研究内容,越来越受到人们的关注. 极图是指满足一定约定条件且边数最多的图,其构造算法产生大规模的临界图集合作为中间数据.传统的串行极图构造算法会因为需要处理的临界图数量的大幅增加而变得效

在Sql Server 2005中将主子表关系的XML文档转换成主子表“Join”形式的表

本文转载:http://www.cnblogs.com/Ricky81317/archive/2010/01/06/1640434.html   最近这段时间在Sql Server 2005下做了很多根据复杂XML文档导入数据表,以及根据数据表生成复杂XML文档的事情(并非 For XML Auto了事),所有的操作都是利用Sql语句,发现Sql Server 2005的XML文档处理能力真的已经很强了,自己也终于开始体会到Sql Server 2005真正的实力了.在这里记录一下这种情况的处理

Smart Crop，一种切除 PDF 扫描文档白边的新选择（算法篇）

这是我元旦假期的折腾成果.这里先分享一下思路和实现过程中遇到的有意思的事情,代码稍后整理后分享到 Github. 前些日子,同事送了我一个 Kindle,于是我开心地往里面灌了好几本书,开始假装文化人. 背景 但是在尝试阅读的时候,我发现体验并不怎么好,因为我平日里看的电子书大多是扫描版的以技术为主的各类书籍,这些扫描书有一个共同点,就是有比较宽的白边(margin).于是我们在阅读这类电子书的时候通常会用各种手段把白边切掉,以便让内容在本来就不大的屏幕上占据更多像素. 相关工作 之前用 iPa

[文档]基于P2P的云计算模型及其安全性分析

基于P2P的云计算模型及其安全性分析 沈静波  李金龙 文章通过将P2P技术和云计算相结合,提出了一种可靠的.可扩展的.低成本的文件共享模型PA-Cloud.该文介绍了PA-Cloud的文件下载和更新过程,并对系统的安全性进行了分析.通过对PA-Cloud进行对比实验表明,PA-Cloud可以有效提高系统的可扩展性,降低服务提供商的成本. 关键词: 对等网络 云计算 文件共享 可扩展性   temp_12060215109101.pdf

[文档]基于Hadoop／Hive的web日志分析系统的设计

基于Hadoop/Hive的web日志分析系统的设计 刘永增,张晓景,李先毅 利用Hadoop.Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度.通过与单机实验的对比,证明系统是有效的和有价值的. 关键词:web日志:云计算:Hadoop:Hive [下载地址]http://bbs.chinacloud.cn/showtopic-12968.aspx