云环境下基于二维节点矩阵的分级多表连接

云环境下基于二维节点矩阵的分级多表连接

陶永才 周梦雪 石磊 卫琳  曹仰杰

随着"大数据"时代的到来,分布式数据处理得到了广泛的应用和发展.在基于云计算的海量数据处理中,复杂处理要求逐渐增多,数据分析通常需要跨越多个数据集,因此亟需高效的多表连接机制.现有的基于MapReduce的多表连接机制多采用串行级联方式实现多个不同数据集连接,操作灵活但效率不高.本文在分析现有并行连接模型的基础上,提出基于二维节点矩阵的分级多表连接模型TD-HMJ.TD-HMJ在一次Map过程中处理全部连接属性,Reduce过程建立二维节点矩阵实现多组3(或2)表并行连接,并通过多级Reduce过程实现多组间连接.理论分析和实验表明TD-HMJ减少了数据传输量,缩短了多表连接时间,提高了连接效率.

云环境下基于二维节点矩阵的分级多表连接

时间： 2024-09-20 00:08:36

云环境下基于二维节点矩阵的分级多表连接的相关文章

云环境下基于神经网络和群搜索优化的资源分配机制

云环境下基于神经网络和群搜索优化的资源分配机制 孙佳佳 王兴伟 高程希 黄敏 在云环境下,各种闲置资源可以通过池化形成资源池,进而利用虚拟化技术将资源池中的不同资源组合以服务的形式提供给用户使用,因此需要合理而有效的机制来分配资源.针对云环境下资源的特点,将经济学和智能方法相结合,提出了一种基于双向组合拍卖的智能资源分配机制.在该机制中,提出了基于体验质量(quality ofexperience,简称QoE)的威望系统,引入威望衰减系数和用户信誉度,降低拍卖中恶意行为造成的影响,为资源交易提供

云环境下基于属性的用户权限管理研究

云环境下基于属性的用户权限管理研究 李拴保 范乃英 傅建明 祁慧敏 刘芊 用户权限分配是云计算服务的重要难题之一,提出了一种基于属性的用户权限管理方案.该方案以云服务中的新用户密钥分配为研究对象,论述了多方协同的用户签名验证解密管理机制,数据所有者和授权者共同选择属性集,数据所有者基于属性集定义密文访问结构,从而用户只有通过授权者认证才能获得解密密钥,达到用户权限升级与降级同步管理的目的.另外,本方案以群属性集更新为中心设计CP-ABE群签名验证机制,令数据所有者.用户和授权者组成群;基于群和自

云环境下基于双向拍卖的资源定价模型

云环境下基于双向拍卖的资源定价模型 殷秀叶 姜静 针对云资源的特点,提出了一种双向拍卖模型,该模型利用供应商的资源使用情况来影响供应商的报价,并对买方的报价进行排序,测定获胜者;考虑了按照价格排序测定获胜者后剩余资源的问题,提出了避免剩余资源浪费的解决办法;最后,当获胜者全部测定完毕后,给出了收费函数,利用分段的方式解决了部分客户价格过高的问题,激励客户提高出价,增加供应商的收益. 云环境下基于双向拍卖的资源定价模型

[文档]云环境下基于模糊神经网络算法的任务调度

Job Scheduling Using Fuzzy Neural Network Algorithm in Cloud Environment V. Venkatesa Kumar and K. Dinesh Keywords- Cloud Computing, Neural Network, Fuzzy Logic, Job Scheduling, Berger Model temp_12053008019237.pdf

云时代下 传统运维服务如何突出重围？

本文讲的是云时代下 传统运维服务如何突出重围?[IT168 云计算]2010年,云计算的概念还停留在"云里雾里"时期,企业仍在自建数据中心这件事情上津津乐道,彼时传统的IT运维服务商也过着衣食无忧的逍遥日子.然而,随着新兴技术的飞速发展,云计算.大数据.移动.社交等IT热词逐步进入公众视野,尤其是"互联网+"的概念被提到国家战略层面的高度后,一些非互联网行业的传统企业,也开始积极探索,谋求IT基础架构的转型.一时间,这种可以为企业IT带来更多的灵活性.便捷性和高性价

云环境下保护隐私的最短距离计算方法研究

云环境下保护隐私的最短距离计算方法研究 张莹光 苏森 陈维峰 杨放春 基于同态加密算法提出了一种保护边权值信息隐私安全的节点间最短距离计算方法该方法对边的权值信息进行加密 然后将加密后的数据外包到云平台中利用广度优先原理 云服务器能够直接针对加密的图状数据从初始节点向外扩展迭代地计算初始节点到其他节点的最短距离 从而计算出任意两节点之间的最 短距离最短距离计算由客户端和云服务器端交互合作完成 主要的计算由服务器端完成客户端只进行简单的解密和判断操作 本方法能够使得低计算能力客户端也可以使用云计算

云环境下的集群负载分析及调度策略研究

云环境下的集群负载分析及调度策略研究 杭州电子科技大学 应俊 本文首先研究了传统数据中心的特点及其缺点,分析了云数据中心的特点,接着研究了云集群的负载监控技术以及基于libvirt的虚拟机负载搜集技术.介绍了云环境下调度的概念和特征,并以OpenStack云平台为例详细分析了云环境下的调度机制.以CloudSim为例分析了云模拟技术,并研究了其中的主要模块. 随后,为了能深入理解云数据中心负载特征,本文搜集了实际公有云中生产集群的负载数据,涉及1082个虚拟机实例和100台物理机,时间跨度为20

[文档]云环境下面向能耗降低的资源负载均衡方法

云环境下面向能耗降低的资源负载均衡方法 胡志刚,欧阳晟,阎朝坤 为降低大规模云数据中心的能量消耗,并在一定程度上实现资源负载均衡,提出一种基于虚拟机迁移的方法LBES.该方法综合考虑多种资源负载情况以及群聚冲突等问题,对虚拟机迁移过程的3个关键步骤进行分析,给出相应的策略,并在云模拟器中得到实现.实验结果表明,在物理节点负载分布严重不平衡的情况下,该方法比其他算法的性能更优. 阅读链接: http://www.ecice06.com/CN/abstract/abstract22779.shtml

云环境下多用户文件共享方案

云环境下多用户文件共享方案 王中华 韩臻 刘吉强 随着云存储技术的迅猛发展,越来越多的用户利用云存储服务将本地文件存储转移到云端实现与多个用户的文件共享.针对云环境下多个用户共享同一文件时存在不同访问权限的问题,提出了一种高效的云环境下多用户文件共享方案.新方案基于Elgamal加密系统和代理重加密技术,实现了文件拥有者只需对共享文件加密一次就能够使共享用户访问不同内容的目标.和现有方案相比,新方案的优势体现在:在保证密文生成存储空间不变的同时,文件拥有者对共享文件加密的计算量只与文件块数的指数