0312

https://zhuanlan.zhihu.com/p/25287755

pyspider例子可以看一下

https://binux.blog/2015/01/pyspider-tutorial-level-3-render-with-phantomjs/

pyspider官方教程

class Handler(BaseHandler):

crawl_config = {

}

@every(minutes=24 * 60)

def on_start(self):

self.crawl('https://movie.douban.com/explore',fetch_type='js', callback=self.phantomjs_parser)

def phantomjs_parser(self, response):

print(response.doc('a.item'))

其实也就是传一个fetch_type='js'来用js渲染的文档，后面再加一个js参数就能实现翻页，但是看不懂pyquery，不知道怎么从里面找东西出来

http://www.15um.com/330

这个pyspider介绍的很详细

http://python.jobbole.com/86764/

pyspider实战代码博客