Selenium环境+元素定位大法

selenium 与 webdriver

Selenium 是一个用于 Web 测试的工具，测试运行在浏览器中，就像真正的用户在手工操作一样。支持所有主流浏览器

WebDriver 就是对浏览器提供的原生API进行封装，使其成为一套更加面向对象的Selenium WebDriver API。
使用这套API可以操控浏览器的开启、关闭，打开网页，操作界面元素，控制Cookie，还可以操作浏览器截屏、安装插件、设置代理、配置证书等

 环境搭建

1、为 Python 安装 selenium模块，pip install selenium

2、下载对应浏览器驱动 

Chromedriver

 使用 selenium 访问百度并搜索

 反爬虫设置

ui 自动化操作流程

选择界面元素

根据元素的特征：ID,Name,Class,Tag,等

根据元素特征和关系：css,xpath

操作界面元素 

输入操作：点击、输入文字、拖拽等

输出操作：获取元素的各种属性

根据界面上获取的数据进行分析和处理

元素定位大法

find_element_by_id：通过ID进行匹配查找，只返回匹配到的一个元素

find_element_by_name：通过name进行匹配查找，只返回匹配到的一个元素

find_element_by_xpath：通过xpath进行匹配查找，只返回匹配到的一个元素

find_element_by_link_text：通过链接内容进行匹配查找，只返回匹配到的一个元素

find_element_by_partical_link_text：通过部分链接内容进行匹配查找，只返回匹配到的一个元素

find_element_by_tag_name：通过标签名称进行匹配查找，只返回匹配到的一个元素

find_element_by_class_name：通过class名称进行匹配查找，只返回匹配到的一个元素

find_element_by_css_selector：通过CSS选择器进行匹配查找，只返回匹配到的一个元素

值得注意的是，上面方法只会匹配查找只会获取第一个元素。除了上面这些查找单个元素的方法之外，Selenium还定义查找多个元素的方法：

find_elements_by_name：通过name进行匹配查找，返回所有匹配到的元素列表

find_elements_by_xpath：通过xpath进行匹配查找，返回所有匹配到的元素列表

find_elements_by_link_text：通过链接内容进行匹配查找，返回所有匹配到的元素列表

find_elements_by_partical_link_text：通过部分链接内容进行匹配查找，返回所有匹配到的元素列表

find_elements_by_tag_name：通过标签名称进行匹配查找，返回所有匹配到的元素列表

find_elements_by_class_name：通过class名称进行匹配查找，返回所有匹配到的元素列表

find_elements_by_css_selector：通过CSS选择器进行匹配查找，返回所有匹配到的元素列表

 

 

注意：

1、根据 class_name 进行定位的时候，有时候会遇到复合类，也就是 class 属性中间有空格，class 属性比较特殊，class属性中间的空格是间隔符号，表示的是一个元素有多个class的属性名称，此时元素定位的时候任取一个即可(不保证唯一定位)

2、selenium 没有提供判断元素是否存在的功能，所以当你需要判断一个元素存不存在的时候，直接定位可能会报错。我们可以去匹配一个元素列表，列表为空则元素不存在，列表不为空则元素存在

技巧，在进行元素定位的时候，有时会遇到一些特别难以定位的元素，此时你可以使用下边这种模式，分步骤定位，一步步缩小定位范围

ele = driver.find_elements_by_xpath("//div[@id='category-block']//ol/li")
b = ele.find_elements_by_xpath('.//li[@class=\'subcate-item\']//span')