大数据云计算项目解决方案求助

问题描述

需求如下：前提：mysql数据库里面有3000万条数据，有效数据（需要处理的数据）约为10%，月增长率为300万条需求：1、需求是一次性查询出源数据中有效数据300万条逐条执行，根据表中具体某一字段去三方(三方接口包括Dubbo接口以及Rest接口)请求执行条件，三方接口返回数据后判断本条数据是否满足执行条件，满足则触发执行规则，不满足则执行下一条2、第一批执行结束后，继续执行第二遍，二十四小时不停顿当前处理方案：Tomcat2台服务器集群每个tomcat十条线程合计二十个线程while循环执行，执行至本条数据时锁定，其他线程执行到时忽略现状：随着数据量越来越大这种方案的时效性越来越差执行一遍所花的时间越来越长，需要找出一个更加合理的解决方案，需要服务器扩展方便推测可用Storm或者Spark集群来完成，目前没有合适的实现方式请各位大牛给点思路，小弟在此拜谢了

解决方案

解决方案二：
项目补充：框架中需要集成Spring和Dubbo
解决方案三：
先占个位，感觉以后我也会遇到类似的问题