Xpath实战之爬取学习猿地的猿著(下)
爬取猿著（总结篇）
一、使用的工具是：pycharm
二、目录：
- pycharm缺少相应模块的问题
- python写入中文json文件的问题
- pycharm中运行python的路径问题
- Chrome复制的xpath抓取为空的问题（待解，建议用火狐）
- 请求头池（收集备用）
三、内容
1、pycharm缺少相应模块的问题
（1）pycharm运行时出现类似这样的问题：
ModuleNotFoundError: No module named ‘retrying’，ModuleNotFoundError: No module named ‘requests’
则需要安装相应的模块
（2）如何安装
①当时做的时候搜到的解决方案是：
打开终端，运行命令：pip install request，pip install retrying
在windows中cmd打开输入运行并不能解决我pycharm运行出现的这类问题。
于是就找到了下面的解决方法（见②）。
②最终解决方案
第一步：打开file中的Settings:
第二步：点击Project下的Python Interpreter：
③第三步：点击图中左下角的＋号：
④第四步：点击加号进入到下面页面，然后在搜索栏里搜索所需要的模块的名字，然后点击install package，安装成功会在install package那里提示安装成功。
到此，该问题便已解决。
2、Python写入中文json文件的问题
（1）在写入json文件中的中文出现了如下问题：
正确结果应该如同输出一样将中文正确写入json文件中。
（2）解决方法：
参考博客:https://blog.csdn.net/weixin_44731100/article/details/90903110
我爬取的部分中由于写入json中的数据有中文，所以需要注明编码格式encoding及ensure_ascii，即：
with open(self.filepath,'w',encoding='utf-8') as fp:
json.dump(self.data,fp,ensure_ascii=False)
正确写入：
于是此问题便可解决。
3、pycharm中运行python的路径问题
（1）问题：
① 编写的程序正确，运行也正确，但是没有结果输出
② 运行时出现安装磁盘没有Python环境
则可能意味着pycharm中运行的python路径有问题
（2）解决：
①第一步：打开file下面的settings:
②第二步：点击project interpreter，然后点击右上角的齿轮，然后点击Add：
③ 第三步：在Base interpreter那里选择正确的python.exe，如果Location那里出现了文件夹非空的提示，那么就首先建立一个空的文件夹，然后在第一栏处选择文件夹的路径（注：也可以在选择路径的时候建立空的文件夹），最后一直按确认即可。
4、Chrome复制的xpath抓取为空的问题（待解，建议用火狐）
网上搜到的解决方案都是：去掉xpath中的tbody即可。
但是我在复制谷歌浏览器中的Xpath里并没有tbody，所以就没有解决在谷歌中复制粘贴Xpath的问题，于是转用火狐浏览器，复制粘贴了Xpath,运行成功。
5、请求头池（收集备用）
"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);",
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
"Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
"Mozilla/5.0 (X11; Linux x86_64; rv:76.0) Gecko/20100101 Firefox/76.0"