python网络爬虫之selenium的详细安装配置以及简单使用--菜鸟复习日记

 学习python selenium已经是好久以前的事情了，自己都快要忘记了，所以写篇博客复习复习，本文包括安装selenium驱动以及selenium的一些简单使用。本文默认安装python以及selenium库。

目录

一、安装seleium的驱动(以谷歌浏览器为例)

二、selenium库的一些简单用法。

        1.向输入框中输入文字

         2.点击操作

一、安装seleium的驱动(以谷歌浏览器为例)

        1.首先下载一个谷歌浏览器这应该不用说

                谷歌浏览器下载官网：Google Chrome 网络浏览器

        2.打开谷歌浏览器--点击右上角三个点--帮助--点击关于 Google Chrome，然后就可以看到版本号了。

        3.下载谷歌浏览器的驱动(谷歌驱动网址),并寻找与谷歌版本号差不多的驱动，从上面可以知道我的版本号是105.0.5195.127，从下图可以看出，没有和我一模一样的版本号，所以找一个相差不大的即可，即 105.0.5195.52

 

         然后下载和自己系统对应的文件

        下载完成之后会得到这样一个文件

        4.接下来我们需要把这个chromedriver.exe的文件放进两个地方，首先是放入我们python的运行环境之下，其次就是放进谷歌浏览器的文件夹

                ①我们win+r进入终端，输入where python ，找到python的位置，进入对应的路径，把chromedriver.exe文件复制一份进去。

                 ②找到桌面上的谷歌浏览器(桌面没有就去菜单找)--右击--打开文件所在的位置，把chromedriver.exe文件复制一份进去。

         5.打开python解释器(jupyter notebook/python IDLE)，输入代码调试。           

from selenium import webdriver
browser = webdriver.Chrome()   #加载谷歌网页引擎
browser.get("https://www.baidu.com/")  #给上网址url

 如果可以打开下图这样的一个窗口，说明配置成功了。

二、selenium库的一些简单用法。

        1.向输入框中输入文字

        首先打开百度网页之后我们按F12或者右键--检查也可以，第一步点击左上角有着鼠标样式的图标，第二步点击输入框，这样我们可以找到输入框在网页源代码里面的位置以及知道它的属性。

        根据找到的input标签，右击--Copy--CopyXpath，然后就会得到一段//*[@id="kw"]，然后代码如下：(这是比较偷懒的方法，其实根据input标签里面的其他属性，也可以找到输入框的位置)

browser.find_element_by_xpath('//*[@id="kw"]').send_keys('python')

 会看到对应的输入框里面也会输入python

         2.点击操作

        在我们输入了python之后还需要点击右边的百度一下，步骤差不多，我们还是要在网页里面找百度一下这个按钮的所在位置的标签及其属性，还是先点击左上角有着鼠标样式的图标，再点击百度一下

         然后就可以找到百度一下的input标签，然后可以和上面一样用CopyXpath的方法，代码如下：

browser.find_element_by_xpath('//*[@id="su"]').click()

 然后就可以看到百度做出了反应如下图 

三、总结

        今天主要是说关于selenium库的一些配置，说得比较详细，大家仔细查阅，最后说一点我对selenium的看法，我觉得selenium库是python爬虫技术中比较不错的手段，有着可见即可爬的称号，虽然和python爬虫的scrapy框架等比起来，没那么模块化系统化，但是可以说是非常强大的，大多数的爬虫问题都是可以解决的，用起来我觉得也比较的灵活，我上面说的操作都是一些简单的常见的操作，还有更多复杂有趣的操作，比如爬取图片、下载视频等等，大家感兴趣的话可以更深入的了解一下selenium库。如果有错误的或者是不清楚的地方，欢迎大家在评论区指出，共同进步，谢谢！