应用服务器-java实现大数据分布式处理

问题描述

java实现大数据分布式处理

我想实现一个功能,有一个调度服务器和n个应用服务器,调度服务器在每天指定的时间段都会到数据库中抽取数据。将抽取到的数据分发给已经在调度服务器中注册的并且空闲的应用服务器,并将该应用服务器状态置为非空闲状态。
应用服务器在接收调度服务器分发过来的数据以后,将对数据进行处理,并将处理结果更新到响应的数据库表中。在处理完所有数据之后,会向调度服务器返回处理结束的结果,调度服务器将该应用服务器状态置为空闲。
以此反复,直到数据库中的业务数据全部处理完毕。
有做过类似需求的大神吗,最好讲解一下具体实现步骤,谢谢啦

解决方案

http://blog.sina.com.cn/s/blog_71d1f8c10101ax2m.html

时间: 2024-10-28 10:59:18

应用服务器-java实现大数据分布式处理的相关文章

ElasticSearch大数据分布式弹性搜索引擎使用—从0到1

  阅读目录: 背景 安装 查找.下载rpm包 .执行rpm包安装 配置elasticsearch专属账户和组 设置elasticsearch文件所有者 切换到elasticsearch专属账户测试能否成功启动 安装自启动elasticsearch servicewrapper包 下载elasticsearch servicewrapper 包 elasticsearch servicewrapper开源包的配置小bug servicewrapper安装 chkconfig -add 加入lin

卡耐基梅隆大学教授邢波:Petuum,大数据分布式机器学习平台

[CSDN现场报道]2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的 2014中国大数据技术大会 (Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 2014中国大数据 技术大会首日全体会议中,卡耐基梅隆大学教授.ICML 2014程序主席邢波带来了名为"A New Platfo

Java Web 大数据量缓存问题

问题描述 请教各位高手.我现在遇到一个问题,我做的系统有一个数据采集器,需要往数据库中添加数据,而WEB需要从数据库中读数据.数据采集器发送的是实时数据,不需要实时写入数据库中,为了避免导致瓶颈.希望能有个缓存,让数据采集器先缓存起来,等过一段时间在写入数据库.WEB方面也是一样,需要读实时数据的时候从缓存中读,而历史数据从数据库中读.据我了解,数据库系统一般也带有缓存的功能,但不知具体是如何.目前打算采用共享内存的方案,不知是否可行. 解决方案 解决方案二:可是如果不实时写入数据库那来个断电你

面向大数据的分布式调度

前言:大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色,整个数据的生产.交付.消费都会贯穿其中,本文从调度.分布式调度的特征展开,再对大数据调度个性化特征的一些阐述,由满足大数据使用的架构和业务场景的需求上娓娓道来,从实践的角度分享如何打造一个高可用.高效率.灵活性的大数据调度平台. 一.调度 从上个世纪50年代起,调度问题的研究就受到数学.运筹学.工程技术学等领域科学的重视,人们主要从数学的角度来研究调度问题,调度问题也同样被定义为"分配一组资源来执行一组任务",

大数据-求大神推荐下java数据分析技术~~

问题描述 求大神推荐下java数据分析技术~~ 5,4,3,2,3有这么一串数字,我想分析出从索引为0到3呈下滑趋势,如何实现?有什么流行的分析技术?我只会java,不懂大数据什么的. 解决方案 http://www.csdn.net/article/2013-04-28/2815095-big-data-theory-to-implementation 一网打尽13款开源Java大数据工具,从理论到实践的剖析 解决方案二: 这个一般都是用图表的形式做的,,jfreechart等等

吴甘沙清华讲:大数据的10个技术前沿(中)

本次讲座是清华大数据产业联合会"技术•前沿"系列讲座的第一讲,主讲人为英特尔(中国)研究院院长吴甘沙.回复"清华大数据"可获得完整版PPT. 吴甘沙院长从大数据技术前沿的十个问题入手,对大数据产业进行了深度解析.讲座分为三部分: 大数据的10个技术前沿(上)--数据,12月25日已发 大数据的10个技术前沿(中)--计算,本期 大数据的10个技术前沿(下)--分析,待续 演讲正文: 第四,软硬兼施.就是软的硬的两手抓. 首先,对大数据来说,一定要选择更好的硬件架构.

一文读懂大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务.而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多. 举一个简单的例子,假设我们要从销售记录中

【独家】一文读懂大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务.而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多. 举一个简单的例子,假设我们要从销售记录中

开源大数据周刊-第38期

阿里云E-Mapreduce动态 E-MapReduce 2.3.1镜像版本(已发布) 基础镜像CentOS 6.5内核版本升级到2.6.32-642 支持Hadoop YARN Job failover 资讯 大数据的寒冬已至,谁将倒下,谁成巨人? 本文就近期百分点和亚信数据内部人事调整的新闻出发,提出了"大数据寒冬已至"的观点,而过度竞争是大数据寒冬的主要因素.对于未来大数据公司如何生存,文章中提出了产品聚焦.成本控制等方向,为度过寒冬做准备. 大数据第一案,微博为什么赢了? 微博