基于Hadoop的分布式服务注册中心研究和实现

基于Hadoop的分布式服务注册中心研究和实现

上海交通大学  杨柳

在分析了Web服务注册中心和云计算平台的基础上,本文提出了一种建立在云上的分布式服务注册中心的应用模型,称为HDSR (Hadoop-based Distributed Service Registry),它采用了Hadoop云平台来实现。该模型既可以支持基于服务行为的服务发现工作,也可以支持基于服务质量的服务发现工作。本文重点研究了服务数据的分布式存储与并行查询在Hadoop平台上的实现。在HDSR中,Hadoop分布式文件系统和HBase分布式数据库用来存储服务数据,MapReduce并行计算框架用来处理服务数据。

关键词：Web服务注册中心 Hadoop MapReduce HBase 分布式系统

[下载地址]:http://bbs.chinacloud.cn/showtopic-13380.aspx

时间： 2024-10-27 02:15:03

基于Hadoop的分布式服务注册中心研究和实现的相关文章

基于OSGi实现分布式服务框架历程(二)

在这篇历程中来完成对于JINI的Spike,目标仍然是判断基于JINI实现服务的路由.查找需求的满足度. JINI是由Sun研究院制定的,其目标就是为了实现分布式的服务,所以在很多地方可以看到它和分布式服务框架是有不少重叠之处的,来先看看它对于需求的满足度,最后再来分析做个总结. 1.怎么实现远程的将服务注册到服务中心? 在jini中暂时没有找到远程注册服务到服务中心的方法. jini的服务需要和服务中心部署在同一台机器上,这个倒是可以通过服务管理中心直接将sar格式的服务部署上去,支持服务的动

基于OSGi实现分布式服务框架历程(一)

写完之前的那篇基于OSGi实现服务框架的分析后,决定动手来实现一个基于OSGi的分布式服务框架,而其feature呢,就会遵照之前写的服务框架的要素来实现,根据之前的分析,将这个实现过程分为了三个大的步骤来完成:Spike阶段.实现阶段和测试阶段,Spike阶段用于完成几个关键问题的技术的研究和选型:实现阶段用于完成基于OSGi的分布式服务框架:测试阶段用于判断实现的分布式框架对于应用场景的符合程度.性能的情况. 首先进入Spike阶段,在Spike阶段需要完成服务注册.创建以及服务的proxy

基于Spring-DM实现分布式服务框架(DSF)(一)

经过上篇分析分布式服务框架的blog后,正式对之前的基于OSGi实现分布式服务框架的系列改名(顺便把分布式服务框架改为使用DSF缩写),因为已经决定基于Spring-DM来实现,为什么呢,而且为什么一定要是Spring-DM,而不直接说Spring呢? 今天是Spring-DM 1.0 release的大好日子,,不容易呀,做了这么久,具体怎么样还没来得及细看,不过之前有用过1.0 m2,已经觉得很不错了,相信1.0 release更不会失望. 在我眼里看来,Spring是个很大的东西,其实DS

基于mysql的分布式服务治理

问题描述 基于mysql的分布式服务治理 公司之前的分布式协调服务用的是zookeeper,现在准备用mysql替换zookeeper,做一个轻量的服务框架,就是把注册的服务和节点信息持久化在数据库中,需要的时候再从数据库中查询出来.基本的新增和查询功能都好实现,问题是如何监控已注册服务的状态变化?求有经验的大神指教 解决方案 我觉得这种需求zk比db更擅长. 如果非要用db的话,可以单独启动一个服务,去做监控的事情.

基于Hadoop的物流车辆运输监控数据管理研究

基于Hadoop的物流车辆运输监控数据管理研究 大连海事大学 胡淼 本文基于原有的一个物流车辆监控管理系统进行研究.使用全新的Hadoop集群技术来替代原有的传统数据库方式对数据进行管理.在现有的条件下搭建了一个含有3个节点的集群环境,考虑监控数据的特性,在Hadoop基础上选用了支持实时读写的分布式数据库系统HBase,重新对监控数据的数据格式进行了设计.并采用了Hadoop强大的数据并行处理编程模型MapReduce对监控数据进行分析处理.将Hadoop与传统的物流车辆运输监控系统结合起来,

高可用的服务注册中心

前面的服务的注册与发现(Eureka) 介绍了服务注册与发现,其中服务注册中心Eureka Server,是一个实例,当成千上万个服务向它注册的时候,它的负载是非常高的,这在生产环境上是不太合适的,这篇文章主要介绍怎么将Eureka Server集群化. 一.准备工作 Eureka can be made even more resilient and available by running multiple instances and asking them to register with

基于Hadoop平台的视觉数据聚类研究与实现

基于Hadoop平台的视觉数据聚类研究与实现 西安电子科技大学 李林 Hadoop是解决大数据存储和分析问题的分布式模型.聚类算法能通过聚类生成码书,对视觉数据进行特征表达.如何将聚类算法架构在分布式模型上完成对大规模数据的聚类是科研和生产中的重要问题.针对大规模视觉数据聚类问题,本文设计并实现了基于Hadoop模型的视觉数据聚类算法,提高了视觉数据聚类的效率. 本文首先介绍了视觉特征,分析了在视觉信息聚类生成码书过程中存在的维数灾难问题.然后,本文详细分析Hadoop分布式模型,设计并实现了基

基于Hadoop的云计算试验平台搭建研究

基于Hadoop的云计算试验平台搭建研究 张岩 郭松 赵国海 Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架.它是一种可靠.高效.可伸缩的云平台,很适合在实验室环境下进行模拟测试.以Hadoop为基础,借助虚拟机VMware以及Linux.ubuntu.Hadoop.java-jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程.在设计实例中详细的论述了虚拟机.java.Hadoop等软件的安装.设置.测试过程.实现了在实验室环境

基于Hadoop平台的随机森林算法研究及图像分类系统实现

基于Hadoop平台的随机森林算法研究及图像分类系统实现 厦门大学 梁世磊 本文结合Hadoop开源分布式计算平台,研究图像处理过程的并行化以及利用MapReduce并行计算模型对随机森林算法进行了分布式并行设计以提高对大规模图像分类的效率.首先,本文介绍了Hadoop平台,主要包括HDFS文件系统以及MapReduce框架:接着,分析了图像分类的关键技术,总结了图像分类中常用到的一些特征,重点介绍SIFT特征和BagofVisual Words特征代表的实现过程,并阐述了几类重要的模式分类方法