python实战003:Selenium模拟浏览器获取网页源码

     在Python中，如果需要模拟浏览器的行为，可以使用Selenium库。Selenium库是进行web自动化测试的框架，支持C，C++，Python，Java等语言，我们可以用Selenium来模拟手工操作浏览器的各种行为。

     使用Selenium需要浏览器驱动配合，如何下载可以参考：python实战001:模拟浏览器操作准备工作，这里我使用的是chrome浏览器，下载chrome  webdriver 放到python的安装目录即可。

 Selenium 访问页面

     首先我们需要先引入Selenium中的webdriver对象，定义一个具体browser对象（这里我使用的是Chrome浏览器），通过get方法即可打开制定的网址了。

from selenium import webdriver
browser = webdriver.Chrome()
browser.get("www.baidu.com")

 

       这里编译的时候出现错误，Sublime提示[Decode error - output not utf-8] 错误，意思是[解码错误-输出不是UTF-8]。这时我们就要修改Sublime Text的python 编译系统的设置。将其编码设置为cp936。打开Python.sublime-build文件,在尾部添加一行"encoding":"cp936"这一行,保存即可解决这个问题。

 继续编译，有出现了未知错误unhandled inspector error: {"code":-32000,"message":"Cannot navigate to invalid URL"}

翻译：未处理的检查器错误：“code”：-32000，“message”：“无法导航到无效的url”，这里将网址写全即可。

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com')

    如果想获取网页源代码，这时我们可以使用 page_source方法，这时我们就可以在后台获取到该网页的源码，输出时别忘了指定编码格式utf8，否则会报输出格式错误。

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
html=browser.page_source
print(html.encode("utf8"))

        为了更好的查看源码内容，这时可以借用python的open方法，将获取到的网页源码写入到html文件中，这样方便查看内容，通过以下代码我们在当前目录下生成一个1.htnl文件并将源码写入到该文件中。

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
html=browser.page_source
f=open('./1.html',mode="w",encoding="utf-8")
f.write(html)

百度经验   ： python实战003:Selenium模拟浏览器获取网页源码

欢迎关注本人的公众号：编程手札，文章也会在公众号更新