问题描述
hi,伙伴们!我有一个业务需求,需要从一个表中批量读取大量数据,然后保存到另一个表中。数据量会有几十万甚至几百万条。初步设计通过spring的quatz来定时执行。但是在复制的过程中,如何能够确保数据的一致性呢?我自己想了几个方案,但是都不够满意,不知道有没有大牛能够解答?
解决方案
解决方案二:
你的方案是啥,为啥不满意
解决方案三:
为啥不用数据库同步呢?
解决方案四:
在复制的过程前,锁住对源数据库的所有操作【比如显示个:系统维护中】,直到所有数据导完为止,就能够确保数据的一致性了所以这种维护性的操作最好发生在凌晨大家都睡觉的时候
解决方案五:
数据同步,数据库本身有支持,如果一定要从应用层来做这个事情,可以仿造数据库的实现:一边同步一边把增量数据记下来,然后再做处理。
解决方案六:
引用4楼ygycomon的回复:
数据同步,数据库本身有支持,如果一定要从应用层来做这个事情,可以仿造数据库的实现:一边同步一边把增量数据记下来,然后再做处理。
这是建立在不停机的基础上,如果可以接受停机的话,就不用考虑这么多了。毕竟你的数据量不大,这么点数据就别海量了,太少了
时间: 2024-10-25 23:15:42