集群下并行难题-系统集群的环境下出现的问题

问题描述

系统集群的环境下出现的问题

现在有这么一个情况:一个终端每10秒发出一笔数据,这样的终端有几千个,终端的数据假设有个A类来保存,在我的cache中有一个List来保存数据列表,数据的格式是,如果终端发送数据的时间距离上次发来的时间超过三分钟,那么我记录新记录,否则只更新时间,这种情况在单机环境下没有问题,因为在一台服务器的队列中是有先后顺序,但是如果到了集群环境,上一笔数据访问到第一台服务器,本次数据访问到第二台服务器,这个时候会出现并行计算情况,导致时间段获取不正确,如何解决

时间: 2024-11-05 17:23:46

集群下并行难题-系统集群的环境下出现的问题的相关文章

Linux集群和自动化维2.6 生产环境下的Shell和Python脚本分类

2.6 生产环境下的Shell和Python脚本分类 生产环境下的Shell和Python脚本的作用还是挺多的,这里根据2.1节所介绍的日常工作中Shell脚本的作用,将生产环境下的Shell脚本分为备份类.监控类.统计类.运维开发类和自动化运维类.前面3类从字面意义上看比较容易理解,后面的两类需要稍微解释一下,运维开发类脚本是利用Shell或Python实现一些非系统类的管理工作,比如SVN的发布程序等:而自动化运维类脚本则是利用Shell或Python来自动替我们做一些烦琐的工作,比如自动生

数据密集型计算环境下离群点挖掘算法设计与实现

数据密集型计算环境下离群点挖掘算法设计与实现 陈亚丽  张龙波  李彩虹  张树森  刘希昱 基于MapReduce模型,提出了一种网格技术与基于LOF方法相结合的离群点挖掘算法MR_LOF .Map阶段采用网格进行数据约简,将代表点信息发送给主节点:Reduce阶段使用基于密度的离群点挖掘算法,借助网格期望值E筛选出稠密区域.该算法只需计算稀疏区域对象的LOF值,降低了算法的时间复杂度.实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘. 数据密集型计算环境下离群点挖掘算法设

link环境下,制作一款《订餐软件》,请问那种手持的订餐机的软件,怎么和主系统对接?

问题描述 link环境下,制作一款<订餐软件>,请问那种手持的订餐机的软件,怎么和主系统对接? link环境下,制作一款<订餐软件>,请问那种手持的订餐机的软件,怎么和主系统对接? 解决方案 无线,WIFI 吧然后通过网络 + 自定义通讯协议来未完成对接的工作 解决方案二: 有现成的产品,不需要你编写代码,如果你一窍不通的话.

link环境下制作一款《订餐软件》,门店独立批单的设定请问如何从系统走?

问题描述 link环境下制作一款<订餐软件>,门店独立批单的设定请问如何从系统走? link环境下制作一款<订餐软件>,门店独立批单的设定请问如何从系统走? 解决方案 这个建议你还是用工作流吧.比如使用wwf,它能很好地支持这种审批流程.

Linux环境下SVN服务器端的安装与配置

最近尝试了下在Linux(CentOS6.5)环境下安装与配置SVN服务器端,安装过程中碰到了一些问题,参看了网友们分享的一些心得,并通过自己实际的操作,最终安装与配置成功!总的来说网上的说法芸芸,大致都相同,但是有些细节不够详细或者不够到位,所以根据自己亲身经历,记录下安装与配置过程,仅供大家参看以及自己之后再次使用提供方便. 该编博客为安装配置完成之后写的,所以如果有遗漏操作,还请大家批评指正. 下面开始: 1.SVN服务器端压缩包下载 下载地址:http://mirrors.cnnic.c

openwrt-动态上网环境下,经过了二层交换机,PC连接路由器无法分配IP。

问题描述 动态上网环境下,经过了二层交换机,PC连接路由器无法分配IP. openwrt系统,动态上网环境下,上层网络会自动分配IP下来.路由器wan口直连外网,重启路由器后,pc连接此路由器的WiFi可以分配到IP.但是,如果路由器中间加了一层交换机就不行了.即,路由器wan口连接交换机,交换机另一个口连接外网,在网线都连接的情况下,重启路由器.重启完成后pc连接此路由器的WiFi却始终无法分配到ip地址,pc也无法上网,路由器能上网.交换机是二层交换机,无任何配置界面,通电即可使用.请问有没

Red Flag Asianux Server 3用户指南:在中文环境下工作

Red Flag Asianux Server 3全新引入具有国际化语言支持能力的 SCIM输入框架,除全面支持http://www.aliyun.com/zixun/aggregation/30825.html">国家标准 GB18030外,还为用户提供了繁体中文.日文.韩文同时显示及输入功能,并能够更为完整地适用中文显示.中文输入和中文打印解决方案. 中文显示方面,实现了对矢量字体( TrueType)的平滑化,使得中文字体美观实用: 提供了多种国际上流行.易用的输入法,极大地方便了用

windows环境下uploaded

在早期的PHP版本中,上传文件很可能是通过如下的代码实现的: ......if (isset($_FILES['file'])) { $tmp_name = $_FILES['file']['tmp_name'];}if (file_exists($tmp_name)) { copy($tmp_name,$destfile);}...... 但是很可能会被伪造一个$_FILES['file']数组出来,如果tmp_name的内容会被指定为/etc/passwd等敏感信息的内容,那么很容易出现安全

linux服务器-linux环境下部署java-web项目

问题描述 linux环境下部署java-web项目 我在linux环境下部署了一个简单的java登入到界面的测试dome,但是我linux服务器的tomcat的访问路径被修改过,因此我访问不到我请求的action,求高人指教. 我本来访问的路径为192.168.110.25/login.action 现在我在toncat里面修改的访问路径之后192.168.110.25/xiaoxiao/login.action 就通过界面表单提交访问login.action是报404,找不到指定的路径! 解决