Python爬虫学习笔记

Python爬虫学习笔记

写在前面

该笔记是我在学习b站up主路飞学城IT的爬虫视频时做的，详细内容请去b站找原视频，文章仅供参考，如有不对请指正，另外文章内可能有些网站已失效，请自行寻找适合的网站

第一章 初识爬虫

1.1 什么是爬虫

爬虫是从互联网上爬取各类资源，包括图片，文字，视频等格式，其原理就是用代码模拟浏览器下载各种资源。爬虫不一定要使用python语言，也可以使用java、c等，其原因还是因为python比较简洁，并且有丰富的第三方库，使爬虫技术更为简便。

什么是robots.txt？robots.txt就是一个文件包含了这个网页哪些可以爬哪些不可爬，查看方法就是在该url后面添加"/robots.txt"，例http://www.bilibili.com/robots.txt。

1.2 需要使用的软件

• Python3.8
• Pycharm 等编译器
• requests、urllib等模块

1.3 第一个小爬虫

第一个小爬虫就是爬取整个百度的网页，比较简单

from urllib.request import urlopen

url = "http://www.baidu.com"
resp = urlopen(url)

with open("myBaidu.html", mode="w", encoding="utf-8") as f:		# 这里需要注意Windows用户需要添一个“encoding='utf-8'”，因为百度网页编码格式是utf-8，而open()函数默认是gbk，否则出现的网页将会乱码
    f.write(resp.read().decode("utf-8"))
print('success!')

1.4 Web请求过程剖析

• 服务器渲染：在页面源代码中能看到数据，在服务器端将数据和html整合在一起，统一返回给客户端。
• 客户端渲染：在页面源代码中不能看到数据，第一次请求只要一个html骨架，第二次请求拿到数据，进行数据展示。

要熟练使用浏览器数据抓包工具，F12-Network

1.5 Http协议

协议：就是两个计算机之间为了能够流畅的进行沟通而设置的一个君子协议，常见的协议有TCP/IP,SOAP协议,HTTP协议,SMTP协议等等······

HTTP协议，Hyper Text Transfer Protocol（超文本传输协议）的缩写，是用于从万维网（www:World Wide Web）服务器传输超文本到本地浏览器的传送协议，直白点就是浏览器和服务器之间的数据交互遵守的就是HTTP协议。

HTTP协议把一条消息分为三大块内容，无论是请求还是响应都是三块内容

请求：

请求行	-> 请求方式 请求url地址 协议
请求头 -> 放一些服务器要使用的附加信息

请求体 -> 一般放一些请求参数

响应：

状态行 -> 协议 状态码
响应头 -> 放一些客户端要使用的一些附加信息

响应体 -> 服务器返回的真正客户端要用的内容(HTML,json)等

请求头中最常见的一些重要内容(爬虫需要)：

1. User-Agent：请求载体的身份标识（用啥发送的请求）
2. Referer：防盗链（这次请求是从哪个页面来的？反爬会用到）
3. cookie：本地字符串数据信息（用户登录信息，反爬的token）

响应头中一些重要的内容：

1. cookie：本地字符串数据信息（用户登录信息，反爬的token）
2. 各种神奇的莫名其妙的字符串（这个需要经验，一般都是token字样，防止各种攻击和反爬）

1.6 Requests入门

1.6.1 爬取搜狗搜索页面

首先安装requests模块 pip install requests

import requests

url = 'https://www.sogou.com/web?query=周杰伦'
headers = {
     
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36" 	# 这里的消息头可以去浏览器审查元素Network里找到，具体为Network第一个文件里的Request Headers——user-agent,可以理解为模拟浏览器标识
}
resp = requests.get(url, headers=headers)   

print(resp)
print(resp.text)

1.6.2 快速获取百度翻译结果

在百度翻译上找到获取翻译结果的url:https://fanyi.baidu.com/sug

在这里用的是POST方法，上传需要翻译的单词，返回翻译结果，post上传参数为data

import requests

url = "https://fanyi.baidu.com/sug"
text = input("请输入你要翻译的英文单词")
data = {
     
    "kw": text
}
# 发送post请求,发送的数据必须放在字典中，通过data参数进行传递
resp = requests.post(url, data=data)
print(resp.json())  # 将服务器返回的内容直接处理成json() -> dict

1.6.3 爬取豆瓣电影排行

爬虫不好使第一个尝试User-Agent，python爬虫默认的user-agent:python-requests/2.25.1，不是浏览器标识

在这里使用的是GET方法，获取豆瓣电影排行，get上传参数为param

import requests

url = "https://movie.douban.com/j/chart/top_list"
# 重新封装参数
param = {
     
    "type": "24",
    "interval_id": "100:90",
    "action": "",
    "start": 0,
    "limit": 20
}
headers = {
     
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 "
                  "Safari/537.36 "
}

resp = requests.get(url, params=param, headers=headers)
print(resp.json())
resp.close()

1.7 关闭resp

在程序的最后需要关闭resp（连接端口），不关闭的话可能会因为多次访问最后进不去，所以需要在最后添加一句resp.close()，包括打开文件，最后也要关闭

第二章 数据解析与提取

2.1 数据解析概述

在上一章中，我们基本上掌握了抓取整个网页的基本技能。但是呢，大多数情况下，我们并不是需要整个网页的内容，只需要其中的一小部分。那么这就涉及到了数据提取的问题。

本课程中，提供三种解析方式：

1. re解析
2. bs4解析
3. xpath解析

这三种方式可以混合进行使用，完全以结果做导向，只要能拿到你想要的数据，用什么方案并不重要，当你掌握这些之后再考虑性能问题。

2.2 Re解析 正则表达式

Regular Expression，正则表达式，一种使用表达式的方式对字符串进行匹配的语法规则。

我们抓取到的网页源代码本质上就是一个超长的字符串，想从里面提取内容，用正则再适合不过。

正则的优点：速度快，效率高，准确性高

正则的缺点：新手上手难度比较高

正则的语法：使用元字符进行排列组合用来匹配字符串，在线测试正则表达式http://tool.oschina.net/regex/

元字符：具有固定含义的特殊符号

常用元字符：

.	匹配除换行以外的任意字符
\w	匹配字母或数字或下划线
\s	匹配任意的空白符
\d	匹配数字
\n	匹配一个换行符
\t	匹配一个制表符

^	匹配字符串的开始
$	匹配字符串的结尾

\W	匹配非字母或数字或下划线
\S	匹配非空白符
\D	匹配非数字
a|b	匹配字符a或字符b
()	匹配括号内的表达式，也表示一个组
[...]	匹配字符组中的字符
[^...]	匹配除了字符组中字符的所有字符

量词：控制前面的元字符出现的次数

*	重复零次或更多次
+	重复一次或更多次
?	重复零次或一次
{
     n}	重复n次
{
     n,}	重复n次或更多次
{
     n,m}	重复n到m次

贪婪匹配和惰性匹配

.*		贪婪匹配
.*?		惰性匹配

爬虫中最多使用的就是惰性匹配，因此对此需要重视

惰性匹配就是尽可能少的去匹配内容，举例

str：玩儿吃鸡游戏，晚上一起上游戏，干嘛呢?打游戏啊
reg：玩儿.*?游戏
# 这里的原理是：首先匹配“玩儿”两个字，然后再找“.*”次“游戏”，“.*”是尽可能多的进行匹配，因此此时匹配到的会是“玩儿吃鸡游戏，晚上一起上游戏，干嘛呢?打游戏”，然后“？”限制搜索次数，限制到最小次数，最终结果就为“玩儿吃鸡游戏”
此时结果为：玩儿吃鸡游戏

str：<div class="jay">周杰伦</div><div class="jj">林俊杰</div>
reg: <div class=".*?">.*?</div>
结果：<div class="jay">周杰伦</div>
	<div class="jj">林俊杰</div>

2.3 Python的re模块使用

学习正则后，该如何在程序中使用呢？

import re

# findall:匹配字符串中所有符合正则的内容
lst = re.findall(r"\d+", "我的电话号是10086,我的女朋友电话号是10010")
print(lst)

# finditer:匹配字符串中所有的内容[返回的迭代器],从迭代器中拿到内容需要.group()
it = re.finditer(r"\d+", "我的电话号是10086,我的女朋友电话号是10010")
for i in it:
    print(i.group())

# search是找到一个结果就返回，返回的结果是match对象，拿数据需要.group()
s = re.search(r"\d+", "我的电话号是10086,我的女朋友电话号是10010")
print(s.group())

# match是从头开始匹配，因此第一个是中文匹配不到
s = re.match(r"\d+", "我的电话号是10086,我的女朋友电话号是10010")
print(s.group())

当正则表达式很长的时候，我们也可以使用预加载正则表达式

# 预加载正则表达式
obj = re.compile(r"\d+")

ret = obj.finditer("我的电话号是10086,我的女朋友电话号是10010")
for it in ret:
    print(it.group())

obj.findall("sadadsa223dawswefq123fasdigjoihuiohuiogsdf")
print(ret)

那么如何单独提取出字符串中的内容呢？

import re
s = """
    
张富帅
    
张富贵
    
吕富帅
    
小狗头
    
小煞笔
"""
# (?P<分组名字>正则)可以单独从正则匹配的内容中进一步提取内容
obj = re.compile(r"
(?P.*?)
", re.S)  # re.S 让.能匹配换行符
res = obj.finditer(s)
for it in res:
    print(it.group("name"))
    print(it.group("id"))

2.4 手刃豆瓣top250电影排行

1. 拿到页面源代码 requests
2. 通过re来提取想要的信息 re

import requests
import re
import csv

# 提取页面
url = "http://movie.douban.com/top250"
headers = {
     
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 "
                  "Safari/537.36 "
}
resp = requests.get(url, headers=headers)
page_content = resp.text

# 解析数据 拿到电影名，导演，年份，评分，评分人数信息
obj = re.compile(r'
.*?
.*?(?P