数据采集高并发的架构应用

问题描述

问题的出发点:最近公司为了发展需要,要扩大对用户的信息采集,每个用户的采集量估计约2W。如果用户量增加的话,将会大量照成采集量成3W倍的增长,但是又要满足日常业务需要,特别是指令要及时得到响应的频率次数远大于预期。注:公司架构采集.NET平台架构。技术障碍:1.面对用户量的增长,记录数2W倍的增长,如何保证这些记录能够在比较快的时间内进入存储介质。 2.应对用户量的增长,如何在规定的时间内完成采集,增加硬件设备处理能力还是使用更多的服务器来处理请求。3.服务器的增长,是否能够支持现有的扩展能力。4.服务器下发任务给客户端,采集指令易堵塞,造成假死现象。架构实现?

解决方案

解决方案二:
你想干啥。你想为公司开发一个产品?
解决方案三:
采集什么玩意不要乱用自己发明的名词能采集的东西多了,采集的方式多了如果只说.net,实在不知道你这到底是个什么玩意
解决方案四:
有点迷糊```````
解决方案五:
一看就知道又是一个物联网项目
解决方案六:
3W倍什么概念?几何级数递增?那么几天以后全世界所有的硬盘都给你存数据都不够了。
解决方案七:
很简单,瓶颈在哪儿?明显是在服务器和客户端的交互上。然后继续分析,瓶颈在哪儿?是带宽吗?是后台数据库读写吗?这些都不是主要问题,都属于可解决的问题。然后就清楚了,问题就在前后端的接口上,即服务器的“接待”能力上。服务器的SOCKET是有限的,服务器本身的处理能力也是有限的,那怎么办?问题定位清楚了,下面就来解决方案了。方案看似也呼之欲出,就是增加前段处理的服务器数量。然后呢?多个服务器怎么管理呢?再增加一个loadbalance服务器,一切ok。
解决方案八:
“2W增长”最起码也应该有个时间范围吧?如果做个预测时甚至都不知道描述时间范围,那么再怎么开发也是风险极高的。一些想当然的做法、一旦遇到问题就堆砌时髦用语的做法,缺少灵活可控的关键技术,也是风险极高的。

时间: 2024-10-30 12:17:02

数据采集高并发的架构应用的相关文章

求大神UDP服务端高并发设计架构,在线等

问题描述 求大神UDP服务端高并发设计架构,在线等 服务端只开了一个固定端口(业务规定),网上查了下,说可以保存客户端IP跟端口,服务端建新的SOCKET,跟新端口跟客户端处理后续数据,写了个简单程序,但是当同时刻连上来的客户端超过200个,就出现丢包情况: 1. 一个线程接收固定端口的数据,把数据分组 2. 把分组数据分配的SOCKET,端口,通知客户端 3. 多线程跟客户端处理数据 解决方案 可以使用计算机群集,很多计算机冗余,负载均衡

高并发服务器的设计之架构与瓶颈的设计

做架构设计,难免有时候被人问及系统的瓶颈在哪,那首先来了解下什么是瓶颈? 打个形象 的比方,人的嘴巴可以吞下一整个面包,但是却咽不下去,因为食管不给力,它比较细,所以嘴巴能吞 下的食物大小要受到食管的粗细限制. 城市内部每天会产生几十万件跨城快递,可是跨城的交 通不给力,只允许走小型卡车,一卡车一次就能装几千件,一天下来也不一定能投送的完. 人 在一定时间内能咽下多少食物,货运公司在一天运送多少货物,物理上叫做吞吐量,系统整体的吞吐量 等于最小区域的吞吐量. 下面这张图能够反映: 土黄色管子的流

缓存+HASH=高并发?你把高并发架构想得太简单!

[51CTO.com原创稿件]在互联网时代,高并发与高可用一样,已经变成系统的标配了,如果系统每秒查询率(QPS)没有上万,都不好意思跟人打招呼(虽然实际每天调用量不超过100).尤其在双十一期间,电商们凭借着藐视全球的流量,热心地分享自己的技术架构,几乎千篇一律地用缓存+哈希(HASH),仿佛这就是高并发的核心技术了.当然,如果你信了,那就离坑不远了. 缓存+哈希=高并发? 所谓知己知彼百战不殆,先来看看我们经常看到的高并发技术是什么. 资源静态化  活动秒杀页面是标准的高并发场景,活动期间单

《高并发Oracle数据库系统的架构与设计》一导读

前 言 为什么要写这本书 写一本Oracle数据库方面的技术书籍,是我一个持续了四五年的想法.本着自我总结和快乐分享的初衷,不只一次地咨询过eygle大师关于写书的细节,eygle大师也热情地予以指导.遗憾的是,总是因为这样那样的原因,这个想法迟迟不能落地. 2013年的夏天,我有幸作为微博特使参与了甲骨文全球大会(Oracle Open World)上海站的活动,跟一位甲骨文的朋友闲谈中,不经意聊到了与Oracle数据库"共事"已经快十年了.朋友说我应该有不少心得了,鼓励我花一年的时

《高并发Oracle数据库系统的架构与设计》一1.3 在Oracle的世界里

1.3 在Oracle的世界里 如果你是一位Oracle数据库的使用者,那么我们说你将是立足在Oracle的世界里的.本书的主旨也是以此为出发点,立足Oracle的世界,以海纳百川的胸怀选择性吸收各种数据库的使用.立足点的不同,同样会影响到我们视角不同,那么在Oracle的世界里的高并发数据库系统架构设计将会是怎么样的呢?这也将是本书需要给读者们介绍的.相信在每一个Oracle数据库用户的眼中都有其独特的风景,对Oracle的理解可以是技术的,更可以是艺术的.在讨论中,我经常提及的一个观点:"将

亿级流量电商详情页系统实战:缓存架构+高可用服务架构+微服务架构

<缓存架构+高可用服务架构+微服务架构>深入讲解了亿级流量电商详情页系统的完整大型架构.同时最重要的是,在完全真实的大型电商详情页系统架构下,全流程实战了整套微服务架构,包含了基于领域驱动设计进行微服务建模.Spring Cloud.基于DevOps的持续交付流水线与自动化测试套件.基于Docker的自动化部署.此外,还包含了大型电商详情页系统架构中的多种复杂架构设计的详细介绍. <亿级流量电商详情页系统实战(第一版)>的内容,主要是基于简化以后的大型电商详情页系统的背景,重点包含

高性能高并发服务的瓶颈及突破思路

关于高性能高并发服务这个概念大家应该也都比较熟悉了,今天我主要是想讲一下对于如何做一个高性能高并发服务架构的一些自己的思考. 本次分享主要包括三个部分: 1. 服务的瓶颈有哪些 2. 如何提升整体服务的性能及并发 3. 如何提升单机服务的性能及并发 一.服务的瓶颈有哪些 通常来说程序的定义是算法+数据结构+数据,算法简单的理解就是一种计算方式,数据结构顾名思义是一种存储组织数据的结构,这两者体现了程序需要用到的计算机资源涉及到CPU资源.内存资源,而数据部分除了内存资源,往往还可能涉及到硬盘资源

⑤云上场景:珠江人寿,2分钟秒杀3.8亿理财背后的高并发架构

支付宝"元宵理财"产品秒杀活动中,珠江人寿销售峰值为每秒承保600笔,创造了2分钟秒杀3.8亿的保险理财销售奇迹.而其直接竞争对手因为系统访问压力过大而采取了人为限流措施,用时2多小时才完成了2亿产品的销售. 保险公司最为重要的就是快速和低成本的电商IT平台.珠江人寿之所以在处理用户访问优势巨大,其技术支撑系统功不可没.其采用阿里云云计算做技术保障,可支持超大并发访问量,并可根据业务需要快速弹性扩容或者减少资源量. 珠江人寿部署架构图   珠江人寿的保险理财开始互联网化之后,面临最大的

大流量、高并发的网站的底层系统架构

动态应用,是相对于网站静态内容而言, 是指以c/c++.php.Java.perl..net等 服务器端语言开发的网络应用软件,比如论坛.网络相册.交友.BLOG等常见应用.动态应用系统通 常与数据库系统.缓存系统.分布式存储系统等密不可分. 大型动态应用系统平台主要是针对于大流 量.高并发网站建立的底层系统架构.大型网站的运行需要一个可靠.安全.可扩展.易维护的应用系统平台做为支撑,以保证网站应用的平稳运行. 大型动态应用系统又可分为几个子系统: l         Web前 端系统 l