艰辛的爬虫入门之路

听说爬虫这个新奇的概念,有限好奇心
就用自己的电脑试了试。

**
联想:ideapad 300s
系统:Win10
python: 3.7.0
无线网不太好,于是用手机4G开的热点。
感谢:
博客园博主:Bestone
唐松陈智铨两位的书《Python网络爬虫从入门到实践》
感谢博客上的大神
**
装好了python,并设置好环境变量(在系统变量中设置就好可以了),
windows 键+R ,输入 cmd
进入dos 界面:
输入命令:python
发现缺少 requests 模块,
pip install requests
紧接着:
缺少chardet 模块
艰辛的爬虫入门之路_第1张图片
下载chardet模块
艰辛的爬虫入门之路_第2张图片
紧接着:缺少urllib3模块
艰辛的爬虫入门之路_第3张图片

下载urllib3模块,
pip 没有下载成功,估计是手机4G没能力的原因
于是
艰辛的爬虫入门之路_第4张图片
艰辛的爬虫入门之路_第5张图片

 git clone git://github.com/urllib3/urllib3.git
 python setup.py install

艰辛的爬虫入门之路_第6张图片

通过这位大神的博客https://www.cnblogs.com/givemelove/p/9728757.html
得到灵感,我发现自己只是讲模块下载下来了,但是并没有build 和install .

Python安装第三方包(setup.py)
在github上下载了records文件到本地。
解压文件
cmd切换到文件setup.py的目录下
先执行

python setup.py build

再执行

python setup.py install` 

过程中也遇到了遇到:
ModuleNotFoundError: No module named ‘urllib3.exceptions’
参考上述博客解决

于是乎,借用大神的经验,完成了
艰辛的爬虫入门之路_第7张图片
urllib3 安装成功
艰辛的爬虫入门之路_第8张图片
又提示没有certfi 模块,豪横!
艰辛的爬虫入门之路_第9张图片
安装certifi 模块
艰辛的爬虫入门之路_第10张图片
提示没有idna 模块;
艰辛的爬虫入门之路_第11张图片
安装idna模块
艰辛的爬虫入门之路_第12张图片
然后就不用安装模块了
经验:缺啥模块,就安装啥模块,手机4G 网开热点,还不错

测试如下:
艰辛的爬虫入门之路_第13张图片

你可能感兴趣的:(编程语言笔记)