Python爬虫基础——requests、BeautifulSoup

最近由于工作需要,所以学习了一些爬虫小知识。之前一直觉得爬虫是黑科技,里面的弯弯绕绕多得很,各种反爬技术和更高的爬虫手段层出不穷,要学习是个难事。后来发现其实并不难,对于没有刻意的反爬技术的网站而言,基本就是以下两个Python库的使用——

  • requests
  • BeautifulSoup

首先,当然是安装这两个包了。安装后,一个最简单的爬虫流程,就是,先向URL发出GET请求:(假设我们爬取某医院的医生信息,网址是:https://www.pumch.cn/detail/4126.html)

import requests
from bs4 import BeautifulSoup

res = requests.get('https://www.pumch.cn/detail/4126.html')
print(res.text)

结果:

就这样,用requests库发出GET请求,就可以非常轻松地得到这个页面的源代码。注意,这个HTML页面的源代码是XML格式的,是由不同的html标签组成,具体不清楚的同学可以搜搜看。

此外,我们可以看到,爬虫爬到的结果都很奇怪——是的,都是一堆乱码,这其实就是编码问题,改成utf-8编码就好了:

res.encoding='utf-8'
print(res.text)

结果:

如上图,这样的结果就是正常的了。我们使用BeautifulSoup提供的xml解析工具,还可以将结果显式得更好,也可以通过BeautifulSoup的方法对HTML标签进行查找,以找到我们想要的内容:

如上图,我们将返回的网页源代码包装成BeautifulSoup文件,然后使用其`find_all()`方法。find_all()方法可以使用HTML标签的name、attrs(属性)、class、id等字段对结果进行筛选。具体BeautifulSoup使用方法可以见此篇:https://cuiqingcai.com/1319.html

最终,我们就轻易地获取了该页面上关于“游凯“医生的简介。


当然,也有意外的情况——

有些网站需要安全证书(比如12306),有些网站必须请求头的“User-Agent”信息才能用Python脚本请求成功,所以我们需要作出相应的设置:

url = 'https://www.zryhyy.com.cn/Html/Doctors/Main/Index_232.html'
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
r = requests.get(url, headers=headers, verify=False)

如上代码,该网页有证书要求,如果没有"verify"一项就会报错。所以我们可以将此项置为False予以解决;

而有的网站(例如知乎),它要求必须在Header中定义"User-Agent"。我们查看了Chrome浏览器的"User-Agent"信息后,仿照该信息自定义Header,并传入get方法,再发请求,即可得到想要的结果

 

你可能感兴趣的:(Python,Python库)