一个增量数据同步数据的总结
需求：
1. 每日构建一批数据生成XML 。
2. 每10分钟读1条数据，每天最多读取144条。
3. 需要方便配置，合并数据。
1.代码：
qqxml.py
qqxml.conf
qqxml.conf是一个property。 key是相册对应的名字，value是QQ相册同步的起始ID
2.启动方式
[admin@server9]$ python manage.py qqxml
3.日志记录
4.总结
1. 增量数据同步要考虑同步的index,刚开始按照日期，后来改成按照ID方式。
2. 发现部分message的图片path不正确，需要去beansdb验证一下。code：
1. 每日构建一批数据生成XML 。
2. 每10分钟读1条数据，每天最多读取144条。
3. 需要方便配置，合并数据。
1.代码：
qqxml.py
qqxml.conf
qqxml.conf是一个property。 key是相册对应的名字，value是QQ相册同步的起始ID
[board]
dress=30604683
scenery=30605417
diy=30599014
dessert=13950861
office=30599116
zakka=29930202
trave=12954996
chinese=21177698
jieke=14738565
tableware=10050474
2.启动方式
[admin@server9]$ python manage.py qqxml
3.日志记录
4.总结
1. 增量数据同步要考虑同步的index,刚开始按照日期，后来改成按照ID方式。
2. 发现部分message的图片path不正确，需要去beansdb验证一下。code：
from beansdb.dbclient import Beansdb
from xml.dom import minidom
import re
r = re.compile("http://\w*.duitang.com")
# three beansdb nodes on localhost
fs = Beansdb({"192.168.172.3:7700": range(16), "192.168.172.5:7700": range(16)}, 16)
url = "http://cdn.duitang.com/uploads/xxxx.jpg"
url = r.sub("media",url)
if type(fs.get(url)) is None or url=='#':
print 'error!===================='