时间戳实现增量数据同步

数据同步
1、靠记录中本身的时间戳来增量更新

　　分页获取必须排序（时间戳）， 排序后也会出错（会出现记录跳过的情况）,中途脚本停止更是会出错
　　非分页的会出问题，脚本中断更会出问题（时间戳不能保证是从低到高）

　　解决方法：

　　　　1、分页条数为1、并排序但效率不高
　　　　2、分页采用每次获取比当前时间戳大的的limit条数,再不断变化时间戳
　　　　3、数据一次性全部取出来排序处理(适用于小数据量情况)

 

2、时间戳存在缓存中，等全部处理完再更新时间戳
　　普通分页仍旧会出现记录跳过的情况
　　非分页的则不会出现问题（因为时间戳是最后才更新），脚本终端也不会出问题。

 

总结出来的方式：
1、时间戳存在缓存中
　　1、减少计算
　　2、最后才会更新时间戳感觉更不容易出问题，最多会重复处理

2、每次运行 缓存中的时间和脚本当时的时间，运行完成后设置当前时间到缓存，这样会减少重复运行的可能

3、遍历方式
　　1、分页采普通方式， 虽然某些情况下会出问题，但可以和全量更新公用一套，减少开发时间 （全量更新会弥补）
　　2、如果可以用其他维度的，更好，因为这样不会出问题