一个增量数据同步数据的总结
需求：
1. 每日构建一批数据生成XML 。
2. 每10分钟读1条数据，每天最多读取144条。
3. 需要方便配置，合并数据。
1.代码：
qqxml.py
qqxml.conf
qqxml.conf是一个property。 key是相册对应的名字，value是QQ相册同步的起始ID
2.启动方式
[admin@server9]$ python manage.py qqxml
3.日志记录
4.总结
1. 增量数据同步要考虑同步的index,刚开始按照日期，后来改成按照ID方式。
2. 发现部分message的图片path不正确，需要去beansdb验证一下。code：
1. 每日构建一批数据生成XML 。
2. 每10分钟读1条数据，每天最多读取144条。
3. 需要方便配置，合并数据。
1.代码：
qqxml.py
qqxml.conf
qqxml.conf是一个property。 key是相册对应的名字，value是QQ相册同步的起始ID
[board] dress=30604683 scenery=30605417 diy=30599014 dessert=13950861 office=30599116 zakka=29930202 trave=12954996 chinese=21177698 jieke=14738565 tableware=10050474
2.启动方式
[admin@server9]$ python manage.py qqxml
3.日志记录
4.总结
1. 增量数据同步要考虑同步的index,刚开始按照日期，后来改成按照ID方式。
2. 发现部分message的图片path不正确，需要去beansdb验证一下。code：
from beansdb.dbclient import Beansdb
from xml.dom import minidom
import re
r = re.compile("http://\w*.duitang.com")
# three beansdb nodes on localhost
fs = Beansdb({"192.168.172.3:7700": range(16), "192.168.172.5:7700": range(16)}, 16)
url = "http://cdn.duitang.com/uploads/xxxx.jpg"
url = r.sub("media",url)
if type(fs.get(url)) is None or url=='#':
print 'error!===================='