selenium的一些要注意的地方

今天在尝试了一下如何爬取北邮人论坛,最后使用selenium来实现了。

下面记录一下使用selenium要注意的地方。


  • python selenium模块使用出错,错误代码为:Message: ‘geckodriver’ executable needs to be in PATH.
ubuntu16.04环境下 解决方法:
下载 geckodriverckod   
地址: mozilla/geckodriver
解压后将geckodriverckod 存放至 /usr/local/bin/ 路径下即可
sudo mv ~/Downloads/geckodriver /usr/local/bin/

#具体答案可以查看下面的链接

链接:https://www.zhihu.com/question/49568096/answer/131093426


  • 出现错误:selenium.common.exceptions.TimeoutException: Message: Screenshot: available via screen

driver = webdriver.PhantomJS(service_args=[‘–ignore-ssl-errors=true‘, ‘–ssl-protocol=TLSv1‘])

在初始化driver时传入参数”service_args=[‘–ignore-ssl-errors=true‘, ‘–ssl-protocol=TLSv1‘]”即可。


  • 一些模拟键盘的操作
    Selenium + PhantomJS + python 简单实现爬虫的功能

  • 下面是一个使用python+scrapy+selenium的例子,可以作为参考

python+scrapy+selenium爬虫


关于我自己的网站文艺数学君,上面会更新关于更多python的教程和mathematica的一些有趣的用法。

来提高写作业的效率啦~\(≧▽≦)/~啦啦啦

你可能感兴趣的:(python爬虫)