Python爬虫怎么处理js动态渲染的网页?

可以先看看集搜客gooseeker开源爬虫项目

里面使用了一个 Selenium库的东西,可以调用浏览器渲染页面,然后处理渲染后的页面

Selenium与PhantomJS搭配采集动态网页内容是比较经典的方案,PhantomJS可以在后台实现页面的渲染,而不是调用浏览器完成

你可能感兴趣的:(人工智能,数据挖掘,业界文章)