使用Beautifulsoup解析网页遇到的问题

今天遇到一个网页,按往常的老办法

soup = BeautifulSoup(content, 'lxml')

打印soup发现少了很多数据,刚开始还以为反爬,后来经过验证不是。、
那么就是解析问题,我换成了

soup = BeautifulSoup(content, 'xml')

打印发现我想要的那块成功出现了,但是对比整个网页发现,其实还是有一些没有显示出来的,不管他,时间紧任务重,得过且过。
后来进入详情页,发现又显示不全了。中间试了xpath等各种解析手段,还是显示不出来。
最后还是继续使用bs4。

soup = BeautifulSoup(content,'html.parser')

发现又成功解析出来了。

写这篇博客并没有深究为什么会这样,能出来结果就赶紧接着往下做。紧张的工作中,大多数小伙伴应该都是这样。
如果有遇到同样只是解析显示不全问题的小伙伴,试过了我的这几种方法都还是不行,可以去搜bs4的文档,里面有更多的方法,祝你好运

你可能感兴趣的:(python爬虫,经验记录)