基于Hadoop的云移动信息服务模型研究

随着互联网技术的发展,数宇信息正在成指数增加,根据Internet Data Cente:发布的Digital Universe报告显示,在未来8年中所产生的数据量将达到40 ZB,相当于每人产生5200 G的数据,如何高效地计算和存储这些海量数据成为互联网企业所要而对的挑战.传统的大规模数据处理大多采用并行计算.网格计算.分布式高性能计算等,耗费昂贵的存储与 计算资源,而且对于大规模数据计算任务的有效分配和数据合理分割都需要复杂的编程才可以实现.基于Hadoop分布式云平台的出现成为解决此类问

基于Hadoop的分布式服务注册中心研究和实现 上海交通大学  杨柳 在分析了Web服务注册中心和云计算平台的基础上,本文提出了一种建立在云上的分布式服务注册中心的应用模型,称为HDSR (Hadoop-based Distributed Service Registry),它采用了Hadoop云平台来实现.该模型既可以支持基于服务行为的服务发现工作,也可以支持基于服务质量的服务发现工作.本文重点研究了服务数据的分布式存储与并行查询在Hadoop平台上的实现.在HDSR中,Hadoop分布式文件

基于Hadoop的云计算试验平台搭建研究 张岩 郭松 赵国海 Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架.它是一种可靠.高效.可伸缩的云平台,很适合在实验室环境下进行模拟测试.以Hadoop为基础,借助虚拟机VMware以及Linux.ubuntu.Hadoop.java-jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程.在设计实例中详细的论述了虚拟机.java.Hadoop等软件的安装.设置.测试过程.实现了在实验室环境

基于REST教育云互操作API的研究与设计 东北师范大学  高明 研究内容有以下几个方面:(1)教育云及其互操作的研究.学界讨论教育云的不多,多是对云计算技术的探讨.笔者借鉴云计算技术,利用云计算应用到教育中的特点与需求,概括出系统的教育云及其互操作的概念,明确了研究方向.(2)教育云服务互操作的需求分析.把握教育云互操作API的服务对象,即教育云到底要互操作哪些内容,内容之间的界限是什么,约束条件有哪些,确立教育云互操作API的研究对象,有的放矢.(3)教育云互操作框架的研究.构建教育云互操作

基于 MongoDB的云数据管理技术的研究与应用 北京交通大学 刘一梦 介绍了云计算环境下NoSQL系统的概念.特征和理论基础,分析主流NoSQL系统的设计原理和特征,并将NoSQL系统与传统的关系型数据库在数据模式.系统架构.读写特性.可扩展性等多个方面进行了详细的分析比较.通过分析对比得出结论:对于云计算环境中的海量数据存储和处理等问题,NoSQL系统是优于传统关系型数据库的解决方案.然后以MongoDB数据库为例,分析其高扩展性集群的架构及原理.深入研究了自动分片集群所使用的均衡算法,针对

基于本体的云存储访问控制技术研究及实现 华东理工大学  孙弘 本文根据云存储的访问控制特点,基于云存储标准(CDMI),对RBAC模型的访问控制域.存储对象和角色继承等进行了改进,增加了对角色和权限的时间约束:同时利用本体技术和OWL语言,建立了访问控制模型的本体,用语义技术描述了DOnto_RBAC的实体和策略,从而通过本体实现了多域环境下,访问控制安全策略在矛盾检验.基于充要条件的自动分类和实例自动归档三方面的推理.模型通过Python语言实现访问控制管理,并建立Restful形式的API,

基于Hadoop的物流车辆运输监控数据管理研究 大连海事大学 胡淼 本文基于原有的一个物流车辆监控管理系统进行研究.使用全新的Hadoop集群技术来替代原有的传统数据库方式对数据进行管理.在现有的条件下搭建了一个含有3个节点的集群环境,考虑监控数据的特性,在Hadoop基础上选用了支持实时读写的分布式数据库系统HBase,重新对监控数据的数据格式进行了设计.并采用了Hadoop强大的数据并行处理编程模型MapReduce对监控数据进行分析处理.将Hadoop与传统的物流车辆运输监控系统结合起来,

基于Hadoop平台的视觉数据聚类研究与实现 西安电子科技大学 李林 Hadoop是解决大数据存储和分析问题的分布式模型.聚类算法能通过聚类生成码书,对视觉数据进行特征表达.如何将聚类算法架构在分布式模型上完成对大规模数据的聚类是科研和生产中的重要问题.针对大规模视觉数据聚类问题,本文设计并实现了基于Hadoop模型的视觉数据聚类算法,提高了视觉数据聚类的效率. 本文首先介绍了视觉特征,分析了在视觉信息聚类生成码书过程中存在的维数灾难问题.然后,本文详细分析Hadoop分布式模型,设计并实现了基

基于Hadoop平台的TFIDF算法并行化研究 王静宇 赵伟燕 计算机工程与科学 2014年06期 基于Hadoop平台的TFIDF算法并行化研究