爬虫解析网页发现返回内容不全

最近爬一个论文网站,使用beautifulsoup和xpath,
根据结点的指向一步步写最后发现返回的response对象的text内容不全。。。
最后发现这个网站的网页是动态的,网页中的内容有些是js异步加载的。
解决方法:selenium

你可能感兴趣的:(爬虫解析网页发现返回内容不全)