标签，然后就找到了想要的数据。
然鹅，当我们打开查看网页源码的时候（chrome 浏览器为例，鼠标右键，查看网页源代码），发现源代码里并没有我们需要的数据，而是一个类似于模板的东西。数据是通过后续动态的加载进来的。
当我们用爬虫去爬的时候，获取到的也是这样的源代码，当然取不到数据啦。
Tips1: 分析网页的时候，可以先查看一下网页源代码，看看自己需要的数据是否在里面，如果有，则可以继续接着分析，如果没有，说明数据是动态加载进来的，要换个思路。
1.2 数据是怎么获取到的
既然网页源代码中找不到数据，那么我们去哪儿获得数据呢？
这就涉及到一个词，叫 “抓包” ，可能听上去很高深很难的样子，其实很简单的。我们知道数据肯定是通过发起 网络请求 获得的，就是网页向服务器发送一条请求，然后服务器把需要的数据回复回来，我们把网页向服务器发送的请求，和浏览器返回的数据，使用一些工具和手段截获下来进行分析，这个过程就是 “抓包”。
可能大家听着还是有点迷糊，下面我来具体演示一下。
打开开发者工具，切换到 Network，然后刷新网页（这里可以抓到网页加载过程中，向服务器发起的各种类型的请求）。
然后上图红框中圈出来的，就是我们抓取到的一条一条的请求包，有 js 脚本的，有 css 文件的，还有图片的等等各种类型的。我们要在这么多的 “请求包” 里找到包含我们需要的数据的包。
把列表里的这些请求从上到下一条一条的点开（在 Preview 里可以预览请求返回的数据），查看哪条请求是我们想要找的。
如上图箭头标识的请求点开以后，预览里的内容正好就是版面导航栏里的内容（预览里点击小箭头可以展开），我们成功找到了正确的请求。
也就是抓包成功！
1.3 抓到的包怎么用？
包含数据的请求包我们是抓到了，但是我们具体要怎么用呢？怎么把它用到爬虫程序里，通过它来爬数据呢？
还是那条请求，我们切换到 Headers 页签，可以查看到关于这条请求的一些基本信息。
主要关注几个部分 Request URL（请求链接），Request Method（请求方法），Query String Parameters（请求参数），（当然请求头的那些东西，User-Agent ，Cookie 什么的，按照实际情况该怎么加就怎么加）。
我们的目的就是，通过 python 代码模拟浏览器发出这条请求，直接获取服务器返回的数据（返回的数据就是前面预览里的那些）。
import requests
url = "https://www.shobserver.com/staticsg/data/journal/2021-04-24/navi.json?ver=1619268138175"
r = requests.get(url)
print(r.text)
我们简单写几行代码模拟一下这个过程（url 就是上图中 Request URL 的内容，requests.get() 是因为 Request Method 是 GET）。
运行结果如下，可以成功获得数据。
1.4 怎么爬其他日期的数据
运行上面的代码，我们可以获得到 2021 年 4 月 24日的新闻数据，那我们如果想爬其他日期的新闻数据该怎么办呢？
这里我们观察一下请求的 url
https://www.shobserver.com/staticsg/data/journal/2021-04-24/navi.json?ver=1619268138175
其中有一段 2021-04-24 的字样，我们猜测，这个可能就是用来控制获取数据的日期的，改成别的日期 比如 2021-04-20 再试一下。
https://www.shobserver.com/staticsg/data/journal/2021-04-20/navi.json?ver=1619268138175
发现同样可以成功。
这样我们就知道，可以通过修改 url 里的日期字符串，来爬取指定日期的数据。
1.5 解析数据
该请求返回的数据，是 json 格式的字符串，我们需要用 json 库来进行解析。
（有同学可能想问了，那么一大串乱码似的文字，你怎么知道它是 json 格式的呢？简单来讲，看两个特点，一个是大括号 {} 包起来的，另一个是键值对格式，就是 xxx : xxx 这种形式的。实在不知道怎么判断的话，就去前面讲抓包的部分，看预览的地方，如果有小箭头能够折叠展开的，就是 json 格式）
我们可以看到 pages 里有版面的列表，每个版面的 articleList 里有文章列表，包含了我们需要的版面和文章列表信息。具体解析的 Python 代码这里就不讲了，文末会贴源码。
1.6 怎么爬文章详细内容
首先点开一个文章的正文页，用前面同样的分析方法过一遍，很容易知道，正文内容也是动态加载进来的，而且正文的数据是通过下面这条请求来获得到的。
我们简单写段代码来验证一下
import requests
url = "https://www.shobserver.com/staticsg/data/journal/2021-04-24/01/article/312840.json?ver=1619271661571"
r = requests.get(url)
print(r.text)
运行结果
经过对这条请求的 url 的分析，我们可以知道，/2021-04-24 是日期，/01 是指版面的编号，/312840 是文章的id。
https://www.shobserver.com/staticsg/data/journal/2021-04-24/01/article/312840.json?ver=1619271661571
至此，我们完成了对网站的分析，讲解了如何判断网站数据是动态加载还是静态加载，如果是动态加载的话如何抓包，抓包以后如何使用等等，并抓到了 新闻版面列表，文章列表，文章正文内容的请求接口。如果有哪里没有讲清楚，或者对以上内容有不太明白的地方，可以留言问我。
下面进行写代码，正式爬取。
二、编码环节
下面是爬虫源码，供大家学习交流使用，请勿用于非法用途。
import requests
import bs4
import os
import datetime
import time
import json
def fetchUrl(url):
'''
功能：访问 url 的网页，获取网页内容并返回
参数：目标网页的 url
返回：目标网页的 html 内容
'''
headers = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
}
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
def saveFile(content, path, filename):
'''
功能：将文章内容 content 保存到本地文件中
参数：要保存的内容，路径，文件名
'''
# 如果没有该文件夹，则自动生成
if not os.path.exists(path):
os.makedirs(path)
# 保存文件
with open(path + filename, 'w', encoding='utf-8') as f:
f.write(content)
def download_jfrb(year, month, day, destdir):
'''
功能：网站 某年 某月 某日 的新闻内容，并保存在 指定目录下
参数：年，月，日，文件保存的根目录
'''
url = 'https://www.shobserver.com/staticsg/data/journal/' + year + '-' + month + '-' + day + '/navi.json'
html = fetchUrl(url)
jsonObj = json.loads(html)
for page in jsonObj["pages"]:
pageName = page["pname"]
pageNo = page["pnumber"]
print(pageNo, pageName)
for article in page["articleList"]:
title = article["title"]
subtitle = article["subtitle"]
pid = article["id"]
url = "https://www.shobserver.com/staticsg/data/journal/" + year + '-' + month + '-' + day + "/" + str(pageNo) + "/article/" + str(pid) + ".json"
print(pid, title, subtitle)
html = fetchUrl(url)
cont = json.loads(html)["article"]["content"]
bsobj = bs4.BeautifulSoup(cont, 'html.parser')
content = title + subtitle + bsobj.text
print(content)
path = destdir + '/' + year + month + day + '/' + str(pageNo) + " " + pageName + "/"
fileName = year + month + day + '-' + pageNo + '-' + str(pid) + "-" + title + '.txt'
saveFile(content, path, fileName)
if __name__ == '__main__':
'''
主函数：程序入口
'''
# 爬取指定日期的新闻
newsDate = input('请输入要爬取的日期（格式如 20210416 ）:')
year = newsDate[0:4]
month = newsDate[4:6]
day = newsDate[6:8]
download_jfrb(year, month, day, 'Data')
print("爬取完成：" + year + month + day)
以上是爬取单天的新闻文章的爬虫，如果希望爬取一段时间内的新闻文章数据，可以参照《Python 网络爬虫实战：爬取人民日报新闻文章》中的代码进行修改。
三、运行效果
运行程序，输入 20210424 以后，爬虫自动爬取了 2021年4月24日的新闻数据，并保存在 Data / 20210424 / 目录下。
新闻文章列表
新闻文章正文
如果文章中有哪里没有讲明白，或者讲解有误的地方，欢迎在评论区批评指正，或者扫描下面的二维码，加我微信，大家一起学习交流，共同进步。
