请问,怎样让数据排队处理

问题描述

有这样的一个业务:网站同一时间段有大量访问量,要保存访问者IP,访问时间等信息到数据库。请问,怎样把这些要保存的数据放在等待队列,然后一批一批这样保存,或到一定数量再保存到数据库。或还有没有其他更好的方法,不至于让数据库负荷太大,谢谢!我是用SSH框架的 问题补充:7454103 写道

解决方案

用java的queue队列作为容器保存ip信息,在把该程序用spring发布为quartz服务,一直监听,当queue队列到达一定数量的时候批量保存,然后清空队列,接续监听。
解决方案二:
建议先写到日志文件里,日志文件可按小时分割然后定时统计访问日志,导到数据库这是大型网站比较通用的方法
解决方案三:
你的访问量这么大,Java的Queue估计支持不了还是建议你用RabbitMQ,Erlang写的,Erlang最大的特点就是支持高并发.
解决方案四:
引用我也怀疑有没有这么大,但boss是这样说的!!! 淘宝每天也就 5000 W 左右 ! 你得估计下有没这么大的访问量! 如果确实这么大 还真强! 呵呵
解决方案五:
这么大,什么网站啊
解决方案六:
IBM MQ
解决方案七:
引用看了一下,数据量确实很大!!一天1千万左右 这么强!! 淘宝每天也就 5000 W 左右 !看来你网站确实比较狠!既然这样你可以考虑下 服务器负载均衡 或者 读写分离之类的!
解决方案八:
其实没必要那么复杂!队列 任务什么的可能还会把问题搞复杂!!引用网站同一时间段有大量访问量 这个量有多大呢? 一百万? 如果是这样 你可以那么干!我曾今做的一个网站 每天 10 万 PV 服务器没什么压力的!只需要服务器差不多久可以了!
解决方案九:
如果你自己写一个队列的话,可能比较麻烦,还会出很多bug,推荐使用RabbitMQ,一个开源的消息队列。http://www.rabbitmq.com/http://www.rabbitmq.com/documentation.html有Java的接口实现方式:http://www.rabbitmq.com/releases/rabbitmq-java-client/v1.8.1/rabbitmq-java-client-javadoc-1.8.1/你的数据就往队列里面送,有个后台程序就监控着队列,有数据的话就处理。没数据的话就等待。RabbitMQ性能不错的。

时间: 2024-08-03 17:12:30

请问,怎样让数据排队处理的相关文章

请问一下,实现排队和插队,数据库怎样设计比较有效率?

问题描述 请问一下,实现排队和插队,数据库怎样设计比较有效率? 新手求教.本人的几种思路:1.传统的序号,当要插队时,后面所有人的序号+1.2.链表.3.数组,但是传统的的SQL数据库能存数组么?没见过.目前想的是mongodb存json数组 解决方案 1,3是一样的但不可取,因为每插入一次就需要对之后所有的数据进行变动.2可行.话说这跟数据库有关系? 解决方案二: 要对数据库的数据进行排序的话,要设一个项目作为Key值,只要改动这个值就可以实现排序和插队. 解决方案三: 参考一下 linked

请问mysql导入数据时,文件名可以用正则表达吗?

问题描述 请问mysql导入数据时,文件名可以用正则表达吗? 我现在有很多iis产生的log文件,想要每天自动导入前一天的log日志到 mysql数据库,现在我只能通过load data local infile '/tmp/ex150801.log'手动导前一天的数据. 如果我要排job自动导出该怎么做? 解决方案 写一个程序定时去跑比较简单,而且灵活. 解决方案二: 用脚本等命令行去调用mysqlimport命令等去加载文件导入数据吧.LOAD DATA语法应该不支持正则

link环境下制作一款《订餐软件》,请问多门店数据汇总,加盟独立账套怎么实现?

问题描述 link环境下制作一款<订餐软件>,请问多门店数据汇总,加盟独立账套怎么实现? link环境下制作一款<订餐软件>,请问多门店数据汇总,加盟独立账套怎么实现? 解决方案 共同的部分放在服务器上,不同的部分放在各自的数据库中,通过网络连接起来

兼容性-请问有哪些数据透视工具

问题描述 请问有哪些数据透视工具 请问一下有那些比较好用的数据透视工具 ,例如:例如:CubeViewer FineReport 以及这些工具的兼容性,是否可以跨操作系统?还请各位多多指点. 解决方案 最好的数据透视工具还是通用编程语言.可以实现任何你需要的数据分析.把时间浪费在这些所谓的工具上得不偿失,因为他们的学习曲线很短,很快你就会发现,当这个工具无法满足你的需求,你一点办法也没有,而且还受制于平台和软件的限制,没法拿到另一个环境中处理. 解决方案二: 恩,通过编程语言是具有很好的自由度,

db2导出.del数据文件,请问如何将数据文件中的回车换行处理掉,使每条数据只占一行。

问题描述 db2导出.del数据文件,请问如何将数据文件中的回车换行处理掉,使每条数据只占一行. db2导出.del数据文件,文件中正常行分隔符为n,由于数据中某些字段的数据中含有回车换行,导致导出的数据一条数据占了不止一行,请问如何将数据文件中的回车换行处理掉,使每条数据只占一行. 解决方案 http://blog.csdn.net/xhsophie/article/details/41822287

php+ajax实现带进度条的大数据排队导出思路以及源码_AJAX相关

废话不多说,先上效果图: 点击导出,实现 点击导出 统计完成之后 点击确定 下面来谈谈实现的思路: 前面导出操作简单,从第二个导出操作开始: 点击"确定"调用exportCsv函数 复制代码 代码如下: <a class="on" href="javascript:exportCsv();"><em>导出</em></a> exportCvs函数如下function exportCsv(){ //清

php+ajax实现带进度条的大数据排队导出思路以及源码

废话不多说,先上效果图: 点击导出,实现 点击导出 统计完成之后 点击确定 下面来谈谈实现的思路: 前面导出操作简单,从第二个导出操作开始: 点击"确定"调用exportCsv函数 复制代码 代码如下:<a class="on" href="javascript:exportCsv();"><em>导出</em></a> exportCvs函数如下function exportCsv(){ //清除

【大数据/spark/tachyon】请问关于tachyon的内存管理机制和应用

问题描述 [大数据/spark/tachyon]请问关于tachyon的内存管理机制和应用 1.请问什么情况数据是确定放在内存的呢,我做loadufs操作从hdfs加载到tachyon的都是看到 not in memory 的,但是用spark textFile(tachyon://hostname:19998/test.txt)调用文件后,后来在web UI上又能看到有部分加载到内存了,比如 69% in memory, 然后saveAsTextFile(tachyon://hostname:

数据分析 大数据-数据分析小白求大神指导入门

问题描述 数据分析小白求大神指导入门 数据分析小白一名,分到大数据部,即将入职.完全不知道怎么融入工作,迷茫啊!请问一下大家数据分析师主要会用到什么软件?求各位大神介绍数据分析相关入门书籍和数据分析必须的入门软件教程 解决方案 spss数据库,python,matlab,其实要学的东西还是很多的,主要看你用数据分析来干啥了 解决方案二: 可以先学习一下python,使用方便,提供的类库也丰富.numpy,pandas,matplotlib 解决方案三: pathon,入门的首选!! 解决方案四: