并发串行调用接口

这里思考比较少,不过因为事情本身比较简单,就简单处理了。毕竟我这种菜鸟,高大上的东西是从未停止过仰望的。备注下是因为如果有机会再用到类似的逻辑,可以拿来重新思考一下,另外,我还觉得有点儿TCP里”滑动窗口“的感觉喔,哈哈哈,毕竟场景类似,控制流量嘛

/**
 * 代码块说明: 小并发串行调用接口处理大批量数据
 * 依赖变量: data (原始数据)
 */
var chunks = [],       // 数据切割存储
    size = 50,         // 数据分片大小
    concurrence = 4;   // 并发量

    /* 按数据分片大小切割原始数据 */
    while (data.length > 0){
        chunks.push(data.splice(0, size));
    }

    var batchLength = chunks.length; // 切割后数据块数量
    var steps = 0; // 游标,用于滑动读取切割后的数据块
    /**
     * 核心函数
     * 变量说明: _i (游标, 用于定位分片数据)
     *         cData (切割后的数据块数组)
     *         len (切割后数据块数量)
     *         c (发送请求的并发量)
     */
    var batchPush = function(_i, cData, len, c){
        if (_i < len) {
            var _pulling = true; // 标识位
            var _j = 0; // 临时变量,定位并发数据块位置

            //分批请求
            while (_pulling){
                if (cData[_j + _i]){
                    $.ajax({
                        method: 'POST',
                        url: 'xxx',
                        data: JSON.stringify(cData[_j + _i]),
                        dataType: 'json',
                        success: function(rData){
                            // 接口返回码校验(此略)
                            ++steps;
                            // 并发都处理完后, 触发下一次并发(串行)
                            if (steps % c === 0) {
                                // 缓冲一秒
                                setTimeout(function(){
                                    batchPush(steps, cData, len, c);
                                }, 1000);
                            }
                            // 数据处理(此略)
                        },
                        error: function(){
                            // 异常处理(此略)
                        }
                    });
                }
                _j++;
                if (_j >= c){
                    _pulling = false;
                }
            }
        } else {
            // 全部发送完毕
            steps = 0;
        }
    };
    // 触发调用
    batchPush(steps, chunks, batchLength, concurrence);

Anyway, it works. 有机会读一读”滑动窗口”的处理逻辑, 哈哈.

时间: 2024-10-27 12:25:46

并发串行调用接口的相关文章

axis2客户端无法实现并发只能是串行,不知道怎么并发实现请指教

问题描述 publicclassTestStub3implementsRunnable{publicstaticLoggerlogger=Logger.getLogger(TestStub3.class);privatestaticConfigurationContextctx=null;privatestaticResourceBundlerb=ResourceBundle.getBundle("usif");static{try{ctx=ConfigurationContextFa

《流程的永恒之道》(一)控制模式之串行、并发分裂及并发汇聚模式

控制模式是流程的中枢神经,它在作战小分队中负责将多个单独的作战活动组合在一起,并推动活动的自动化流转,形成作战流程.其重要性不言而喻,因此要设计一个好的流程,就必须学会应用各种各样的控制模式. 在探寻每个模式的究竟之前,我们首先定义一个统一的格式,对于控制模式,将按照如下统一的格式进行描述: 模式描述 我们在探寻每个控制模式时,将按照如下统一的格式进行描述. 原型实例(故事片段) 给出此模式的故事片段,通过鲜活的工作流故事展现此模式的应用场景. 上下文(描述.动机) 给出此模式的具体描述和动机:

串行ATA高级主控接口致XP蓝屏故障的解决

笔者从网上淘了一台ThinkPad SL500(27466AC)笔记本,自带Vista系统,外观和质量都不错,唯一不足的是内存只有1GB,在Vista下玩游戏不够流畅,于是打算将Vista换为WinXP系统.但无论是用正版还是盗版WinXP SP2安装盘,在安装时总是出现蓝屏现象.经过一番研究后,发现AHCI(串行ATA高级主控接口)模式会影响安装.最后,笔者用以下方法顺利安装好WinXP系统,而且也能开启AHCI模式,让硬盘提高效率. 关闭AHCI,安装路上无路障 AHCI是包括Intel在内

说说Android的广播(2) - 并发队列和串行队列

并发队列和串行队列 前面我们讲了,消息分为普通消息和有序消息两大类.普通消息是可以并发的,由于是并发的,这些广播的处理者之间互相是不依赖的. 另外,并发队列和串行队列都各维护了一条后台广播队列和前台广播队列.如果这个消息足够重要,想走快速通道的话,可以选择使用前台广播队列. 对于并发队列,如果是进程活着,动态注册到队列里的,系统会通过并发的方式迅速将消息广播出去,就跟大家所想象的一样. 但是如果需要通过启动新进程才能处理消息的情况,为了避免同时启动大量进程,系统还是采用串行的方式来处理的.后面我

.NET使XML串行化易如反掌

xml   人们一直高喊XML是解决系统互联问题的关键, 而.NET framework 也为处理XML数据提供了许多不同的类库. XmlDocument 类能让你像处理文件一样处理XML 数据, 而XmlReader, XmlWriter, 和它们的派生类使你能够将XML 数据做为数据流处理. XmlSerializer 则提供了另外的方法, 它使你能够将自己的对象串行和反串行化为XML. 串行化数据既能够让你像处理文件一样对数据进行随机存取, 同时又能够跳过你不感兴趣的元素. 在本文中, 我

ZooKeeper客户端事件串行化处理

为了提升系统的性能,进一步提高系统的吞吐能力,最近公司很多系统都在进行异步化改造.在异步化改造的过程中,肯定会比以前碰到更多的多线程问题,上周就碰到ZooKeeper客户端异步化过程中的一个死锁问题,这里说明下. 通常ZooKeeper对于同一个API,提供了同步和异步两种调用方式. 同步接口很容易理解,使用方法如下: ZooKeeper zk = new ZooKeeper(...); List children = zk.getChildren( path, true ); 异步接口就相对复

php面向对象 自动加载类 对象串行化 多态的应用

自动加载类很多开发者写面向对象的应用程序时,对每个类的定义建立一个 PHP 源文件.一个很大的烦恼是不得不在每个脚本(每个类一个文件)开头写一个长长的包含文件的列表. 在软件开发的系统中,不可能把所有的类都写在一个PHP文件中,当在一个PHP文件中需要调用另一个文件中声明的类时,就需要通过include把这个文件引入.不过有的时候,在文件众多的项目中,要一一将所需类的文件都include进来,是一个很让人头疼的事,所以我们能不能在用到什么类的时候,再把这个类所在的php文件导入呢?这就是我们这里

《高性能科学与工程计算》——第2章 串行代码基本优化技术2.1 标量剖析

第2章 串行代码基本优化技术 在千核级并行计算机时代,有些观点认为编写高效串行代码在许多领域已经有些过时了.因为增加更多CPU以获得大规模并行能力要比投入大量精力优化串行代码简单得多.这似乎是一个合理的理论,5.3.8节的论述中也体现了对这种观点的支持.然而,本书认为程序在单处理器上的性能优化毫无疑问是最重要的,如果通过一些简单的优化方法就可以实现两倍加速比,那么用户会更倾向于使用较少的CPU.这样不仅可把宝贵的计算资源释放给其他用户或项目,而且还可以使投入大量资金购买的硬件获得更加有效的利用.

PHP5.0对象模型探索之对象串行化

php5|对象     串行化可以把变量包括对象,转化成连续bytes数据,你可以将串行化后的变量存在一个文件里或在网络上传输,然后再反串行化还原为原来的数据.你在反串行化类的对象之前定义的类,PHP可以成功地存储其对象的属性和方法. 有时你可能需要一个对象在反串行化后立即执行.为了这样的目的,PHP会自动寻找__sleep和__wakeup方法. 当一个对象被串行化,PHP会调用__sleep方法(如果存在的话). 在反串行化一个对象后,PHP 会调用__wakeup方法. 这两个方法都不接受