Python爬虫入门教程：超级简单的Python爬虫教程
这是一篇详细介绍Python
这篇 Python 爬虫教程主要讲解以下 5 部分内容：
1.了解网页；
2.使用 requests 库抓取网站数据；
3.使用 Beautiful Soup 解析网页；
4.清洗和组织数据；
5.爬虫攻防战；
了解网页
以中国旅游网首页（http://www.cntour.cn/）
图 1 中国旅游网首页源码
认识网页结构
网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JScript（活动脚本语言）。
HTML 是整个网页的结构，相当于整个网站的框架。带“＜”、“＞”符号的都是属于 HTML 的标签，并且标签都是成对出现的。
CSS
CSS 表示样式，图 1 中第 13 行＜style type=＂text/css＂＞表示下面引用一个 CSS，在 CSS 中定义了外观。
JScript 表示功能。交互的内容和各种特效都在 JScript 中，JScript 描述了网站中的各种功能。
通过编写和修改 HTML，可以更好地理解 HTML。首先打开一个记事本，然后输入下面的内容：
Python 3 爬虫与数据清洗入门与实战Python 3爬虫与数据清洗入门与实战
- 爬虫
- 数据清洗
输入代码后，保存记事本，然后修改文件名和后缀名为"HTML.html"；
运行该文件后的效果，如图 2 所示。
几乎每一个网站都有一个名为 robots.txt 的文档，当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档，就要判断是否有禁止访客获取的数据。
https://www.taobao.com/robots.txt
图 3 淘宝网的robots.txt文件内容
淘宝网允许部分爬虫访问它的部分路径，而对于没有得到允许的用户，则全部禁止爬取，代码如下：
User-Agent:*
Disallow:/
这一句代码的意思是除前面指定的爬虫外，不允许其他爬虫爬取任何数据。
安装 requests 库
首先在 PyCharm 中安装 requests 库，为此打开 PyCharm，单击“File”（文件）菜单，选择“Setting for New Projects…”命令，如图 4 所示。
图 4
选择“Project Interpreter”（项目编译器）命令，确认当前选择的编译器，然后单击右上角的加号，如图 5 所示。
图 6
安装完成后，会在 Install Package 上显示“Package‘requests’ installed successfully”（库的请求已成功安装），如图 7 所示；如果安装不成功将会显示提示信息。
爬虫的基本原理
网页请求的过程分为两个环节：
- Request （请求）：每一个展示在用户面前的网页都必须经过这一步，也就是向服务器发送访问请求。
- Response（响应）：服务器在接收到用户的请求后，会验证请求的有效性，然后向用户（客户端）发送响应的内容，客户端接收服务器响应的内容，将内容展示出来，就是我们所熟悉的网页请求，如图 8 所示。
图 8 Response相应
网页请求的方式也分为两种：
复制任意一条首页首条新闻的标题，在源码页面按【Ctrl+F】组合键调出搜索框，将标题粘贴在搜索框中，然后按【Enter】键。
图 9（点此查看高清大图）
确定好请求对象和方式后，在 PyCharm 中输入以下代码：
import requests #导入requests包url = 'http://www.cntour.cn/'strhtml = requests.get(url) #Get方式获取网页数据print(strhtml.text)
运行结果如图 10 所示：
图 10 运行结果效果图（点此查看高清大图）
加载库使用的语句是 import+库的名字。在上述过程中，加载 requests 库的语句是：import requests。
将获取到的数据存到 strhtml 变量中，代码如下：这个时候 strhtml 是一个 URL 对象，它代表整个网页，但此时只需要网页中的源码，下面的语句表示网页源码：
使用 POST 方式抓取数据
首先输入有道翻译的网址：http://fanyi.youdao.com/
按快捷键 F12，进入开发者模式，单击 Network，此时内容为空，如图 11 所示：
图 12
在开发者模式中，依次单击“Network”按钮和“XHR”按钮，找到翻译数据，如图 13 所示：
图 14
找到数据所在之处并且明确请求方式之后，接下来开始撰写爬虫。
POST 的请求获取数据的方式不同于 GET，POST 请求数据必须构建请求头才可以。
图 15
将其复制并构建一个新字典：接下来使用 requests.post 方法请求表单数据，代码如下：将字符串格式的数据转换成 JSON 格式数据，并根据，提取数据，并将翻译结果打印出来，代码如下：
import jsoncontent = json.loads(response.text)print(content['translateResult'][0][0]['tgt'])
使用 requests.post 方法抓取有道翻译结果的完整代码如下：
使用 Beautiful Soup 解析网页
通过 requests 库已经可以抓到网页源码，接下来要从源码中找到并提取数据。Beautiful Soup 是 python 的一个库，其最主要的功能是从网页中抓取数据。Beautiful Soup 目前已经被移植到 bs4 库中，也就是说在导入 Beautiful Soup 时需要先安装 bs4 库。
安装 bs4 库的方式如图 16 所示:
安装 Python 第三方库后，输入下面的代码，即可开启 Beautiful Soup 之旅：
import requests #导入requests包from bs4 import BeautifulSoupurl='http://www.cntour.cn/'strhtml=requests.get(url)soup=BeautifulSoup(strhtml.text,'lxml')data = soup.select('#main>div>div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a')print(data)
代码运行结果如图 17 所示。
图 17（点此查看高清大图）
Beautiful Soup 库能够轻松解析网页信息，它被集成在 bs4 库中，需要时可以从 bs4 库中调用。其表达语句如下：首先，HTML 文档将被转换成 Unicode 编码格式，然后 Beautiful Soup 选择最合适的解析器来解析这段文档，此处指定 lxml 解析器进行解析。解析后便将复杂的 HTML 文档转换成树形结构，并且每个节点都是 Python 对象。这里将解析后的文档存储到新建的变量 soup 中，代码如下：
soup=BeautifulSoup(strhtml.text,‘lxml’)
接下来用 select（选择器）定位数据，定位数据时需要使用浏览器的开发者模式，将鼠标光标停留在对应的数据位置并右击，然后在快捷菜单中选择“检查”命令，如图 18 所示：
图 18
随后在浏览器右侧会弹出开发者界面，右侧高亮的代码（参见图 19(b)）对应着左侧高亮的数据文本（参见图 19(a)）。右击右侧高亮数据，在弹出的快捷菜单中选择“Copy”➔“Copy Selector”命令，便可以自动复制路径。将路径粘贴在文档中，代码如下:
#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li:nth-child(1) > a
由于这条路径是选中的第一条的路径，而我们需要获取所有的头条新闻，因此将 li：nth-child（1）中冒号（包含冒号）后面的部分删掉，代码如下：
#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a
使用 soup.select 引用这个路径，代码如下：
清洗和组织数据
至此，获得了一段目标的 HTML 代码，但还没有把数据提取出来，接下来在 PyCharm 中输入以下代码：
代码运行结果如图 20 所示：
从图 20 中可以发现，文章的链接中有一个数字 ID。下面用正则表达式提取这个 ID。需要使用的正则符号如下:在 Python 中调用正则表达式时使用 re 库，这个库不用安装，可以直接调用。在 PyCharm 中输入以下代码:运行结果如图 21 所示：
爬虫是模拟人的浏览访问行为，进行数据的批量抓取。当抓取的数据量逐渐增大时，会给被访问的服务器造成很大的压力，甚至有可能崩溃。换句话就是说，服务器是不喜欢有人抓取自己的数据的。那么，网站方面就会针对这些爬虫者，采取一些反爬策略。
那么应对这种初级的反爬机制，我们应该采取何种举措？
图 22
因此，我们只需要构造这个请求头的参数。创建请求头部信息即可，代码如下：
headers={‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36’}
response = request.get(url,headers=headers)
写到这里，很多读者会认为修改 User-Agent 很太简单。确实很简单，但是正常人1秒看一个图，而个爬虫1秒可以抓取好多张图，比如 1 秒抓取上百张图，那么服务器的压力必然会增大。也就是说，如果在一个 IP 下批量访问下载图片，这个行为不符合正常人类的行为，肯定要被封 IP。
其原理也很简单，就是统计每个IP的访问频率，该频率超过阈值，就会返回一个验证码，如果真的是用户访问的话，用户就会填写，然后继续访问，如果是代码访问的话，就会被封 IP。
import time
time.sleep(3)
但是，我们写爬虫的目的是为了高效批量抓取数据，这里设置 3 秒钟抓取一次，效率未免太低。其实，还有一个更重要的解决办法，那就是从本质上解决问题。
不管如何访问，服务器的目的就是查出哪些为代码访问，然后封锁 IP。解决办法：为避免被封 IP，在数据采集时经常会使用代理。当然，requests 也有相应的 proxies 属性。
最后
这里给大家分享一份Python全套学习资料，包括学习路线、软件、源码、视频、面试题等等，都是我自己学习时整理的，希望可以对正在学习或者想要学习Python的朋友有帮助！
有需要的可以点击免费领取~，都已经上传至csdn官方账号，扫描下方官方二维码获取，保证100%免费！！！
50G Python学习资源大礼包
（部分资料截取图）
① Python全套书籍和视频秘籍
其中包含了Python基础入门、爬虫、数据分析、web开发，这里一共有几十个吧，可能不是很多，但对于初学者来说应该足够。
里面的知识点都是比较干练的，时长也是正常的40分钟一节课。
②Python数据分析入门到精通
（视频课程+课件+源码）
③零基础也能懂的python办公自动化教程
从此上班摸鱼轻轻松松
④Python面试集锦和简历模板
学会了Python之后，有了技能就可以出去找工作了！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
⑤Python副业兼职路线
学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。
上述所有资料 ⚡️ ，朋友们如果有需要《全套0基础入门到进阶的Python学习资料》的，可以扫描下方二维码免费领取