爬虫学习日记(六)

早上fix 12PD的bug

之前写的爬虫最多只能显示10条数据,但是如果超过10条,显示在第二页的数据就拿不到

分析了之前发送的请求,发现有个参数是row 修改row到100 再发送请求 就可以显示基本所有的数据了

以后写爬虫要注意row这个参数 就是拿来分页的 要尽量修改到最大

下午fix Bigs里面的WHLC的bug

发现里面的逻辑跟SSM差不多

把之前写的逻辑都放进去测试了一下本地是能跑通的

放上去服务器就跑不通

Cindy说是SSM和BIGS两者的代理和打log和各种报exception的方式都不同

重新拉了代码 只改了逻辑 原本的东西都没有动

但是提交以后就是跑不通 报范围溢出的错误 很迷

目前尚未解决 毫无头绪。。。

你可能感兴趣的:(爬虫学习日记(六))