python使用selenium爬取js加密的网页
python使用selenium爬取js加密的网页
我们经常使用Python从网站上爬取我们喜欢的图片，比如从煎蛋网爬取妹子图。现在虽然煎蛋网取消了“OOXX”栏目，但是至少把名字换成了随手拍，我今天想从该网站爬取妹子图，去发现没有办法 从爬取的代码中找到 ‘.jpg’ 关键词，这就尴尬了，我用审查元素看了一下，是有的，但是又看了一下网页的源代码，没有找到，实际上我们使用Python 的下面两句代码爬取到了就是网页的源代码，而不一定是审查元素的全部内容。
response = urllib.request.urlopen(url)
html = response.read()这是为什么呢，以前没有出现这样的问题啊，以前我们发现审查元素和源代码是一样的啊。
其实，这是因为现在很多网站为了拒绝爬虫，居然对网页进行了加密，操蛋。
但是呢，我们也是有对策的，现在的网站基本上都是采用 js 加密，Python 也是有模块可以破解它的。
具体代码调用如下：
from selenium import webdriver
chrome = webdriver.Chrome()
chrome.get(url)
html = chrome.page_source
return html #返回的就是字符串但是在用之前，还是有几个问题需要注意的：
1.安装谷歌浏览器
是个人都会的操作吧，我就不说废话了。至于为什么要安装谷歌浏览器，自己看看代码里的 chrome ，应该就明白了吧。
2.安装 selenium
这是必须的操作步骤，very easy。
打开 CMD，输入下面的语句，Enter
pip install selenium上面的语句当然是最简单了了，但是毕竟我们是中国人，速度慢，你懂得。国内也有镜像网站啊。
嘻嘻：（一般人我不告诉他）
pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com selenium3.chromedriver' executable needs to be in PATH
大部分的人在完成第一步之后，运行程序，都是会弹出“chromedriver' executable needs to be in PATH”的错误的。这是因为 这个模块使用的是谷歌浏览器。然后需要一个 chromedriver。
首先，第一步，根据你自己的Chrome（谷歌浏览器）版本，下载相应的 chromedriver。
怎么查看谷歌浏览器的版本号呢？还是自行百度吧，太弱智的问题了。（实在不会的们可以看一下下面的第二步）
chromedriver 下载地址：
http://chromedriver.storage.googleapis.com/index.html
我的谷歌浏览器版本是 70.0.3538.67，就下载win32的版本（Windows只有这一个版本，我是64位的电脑，完全没问题。）
第二步，将chromedriver.exe复制到Chrome浏览器安装目录
下载zip包之后，将其解压。发现里面仅有一个chromedriver.exe文件，该文件不需要通过向导模式安装在电脑上，而是仅需放到Chrome浏览器安装目录下面。可以通过360软件找到谷歌浏览器的安装位置：
如下图，我的Chrome浏览器安装在C:\Users\Xii\AppData\Local\Google\Chrome\Application目录，将解压后的chromedriver.exe驱动文件复制到该目录下即可。（这里也是可以看到版本号的）
第三步：将Chromedriver.exe复制到python根目录！！
如果是直接安装Python的朋友，就是在这个位置：如 C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32
我是使用Anaconda3 安装的Python，直接放在Anaconda3的根目录下就可以了（D:\ProgramFiles\Anaconda3）
第四步： 将浏览器环境变量添加到path
打开开始菜单->我的电脑（或计算机）->系统属性->高级系统设置->环境变量，编辑用户变量里的path，
把谷歌浏览器的安装位置加进去：
添加 ：C:\Users\Xi\AppData\Local\Google\Chrome\Application
修改完之后点击确定按钮保存配置。
4、测试
重启Python，再次运行发现未报错