03_selenium模块的学习和应用/阶段总结

0、前言:python中导包策略是import放前面,from import 放后面

1、selenium环境配置:

  • 文档
  • 这部分知识和爬虫之间的关系:第三方模块selenium适合动态页面爬取,当然静态页面也可以用selenium来爬。
  • 简介:selenium自动化测试工具selenium是一个用于web程序测试的工具,selenium是直接运行在浏览器中的,能够像真正的用户一样操作浏览器。支持IE浏览器、谷歌浏览器、Edge、火狐浏览器、Safari浏览器、欧鹏浏览器等。selenium主要用来解决爬虫中的JavaScript渲染问题。
  • 使用谷歌浏览器:因为谷歌为selenium适配了一个CDP(谷歌开发者工具协议)的协议,selenium结合CDP能够发挥出巨大的威力。
  • 环境配置步骤:
    1.要求有个谷歌浏览器:https://www.google.cn/chrome/
    2.查看已安装的谷歌浏览器的版本号:在谷歌浏览器的地址栏输入chrome://settings/help
    进入设置的关于界面,就能够看到版本号。
    3.下载驱动文件:https://registry.npmmirror.com/binary.html?path=chromedriver/
    根据已安装的浏览器的版本号寻找相匹配的文件夹,如果没有,找最相近的但是低于已安装浏览器版本号的文件夹。
    4.下载的驱动压缩包解压:
    解压完&#

你可能感兴趣的:(python爬虫,selenium,学习,python)