简明爬虫教程

准备工作

python3.7
requests（负责网络请求），lxml(负责解析响应的数据)，chrome浏览器（定位要抓取的元素）。

安装requests和lxml。

进入命令行 执行命令 pip install requests.pip install lxml
这里的pip是python的包管理工具，可以理解为手机里的应用市场，你可以使用它下载安装第三方包。
我这里是已经安装好了，所以显示requirement already satisfied。

安装第三方库

爬取目标

学校官网的通知信息的标题（点击上面标题就可以看到了）

通知公告

先上代码，自己手动敲一遍，跑一下看看运行结果

import requests
from lxml import etree


#要下载的网页网址 
url = 'http://www16.zzu.edu.cn/msgs/vmsgisapi.dll/vmsglist?mtype=m&lan=101,102,103&tts=&tops=&pn=1'
#请求该网页，获取返回结果
res = requests.get(url)
#将返回的结果解析成html
html = etree.HTML(res.content)
# 爬取所有标题节点
titles = html.xpath('//*[@id="bok_0"]/div[7]/div/a/span/text()')#定位标题节点
for title in titles:
  print(title)

这里可以看出主要是分为三步：1，确定你要请求网页的网址。2、定位你需要爬取的元素。3，存储或打印你爬取得数据。
比较关键得一点在于怎么定位你需要的元素，或者说怎么将你需要的数据，从一个完整的网页中筛选出来（即本例中通知的标题）,在代码中的体现如下，

title = html.xpath('//*[@id="bok_0"]/div[7]/div/a/span/text()')#定位标题节点

这里简单提一句xpath使用来定位元素的一种方式，根据的元素的层级关系来进行定位（网页元素的结构就是层级的）。我们只需要搞明白怎么获取//*[@id="bok_0"]/div[7]/div/a/span/text()就行了，这里需要用到chrome浏览器，我们访问该网址看到结果如下

通知公告

我们需要抓取的是通知的标题信息，点击右键->检查

image.png

然后在标题位置，点击右键，复制-复制Xpath，得到xpath，//*[@id="bok_0"]/div[7]/div[19]/a/span
好像跟我们代码中的xpath不太一样，主要在两个地方div[19]和text()
1,div[19]是一个确定的值，我们需要爬取的是所有的标题，这里定位的div[19]下的那个标题，可以简单理解为第十九个标题。所以我们将div[19]替换为div匹配所有的标题。
2从上图我们可以看出，我们需要的是标签里面的文字，而xpath只定位到了span.多加text()使其匹配到所有标题的文本。

练习

爬取练习网页的新闻标题