python + selenium爬取动态网页信息

selenium大概是万策尽才使用的爬虫手段,网上说这其实是用来自动测试的。

其实看一大堆博客还不如看这里:Selenium with Python中文翻译文档

我非常想写这个博客就是为了吐槽一下,用selenium来爬虫究竟是用来干什么的大家心里没点b树吗?当然是抓数据啊,所以为什么找了好久没有人提这个:

from selenium import webdriver

driver = webdriver.Chrome()
driver.get(URL)
page = driver.page_source
print(page)

这个 driver.page_source 得到的是你按 F12 后得到的 Elements 页面。之前一直没有找到获取这个的方法。现在你就可以写正则提取数据了,爽!

当然,你爬一些静态网页或者一些简单的动态网页,自然有更好方法,没必要非得搞个浏览器出来。

我也是小白一个,如果有更好的办法,麻烦大家告知。我就是因为查这个搞的我要死,最后还是在help文档里看到这个,实在忍不住要吐槽一下。

你可能感兴趣的:(爬虫,Selenium,python,爬虫)