python写一个简单的爬虫程序（爬取快手）（附源码）
快手是一个有意思的视频应用，但是它有一些视频不让下载，我们今天就用爬虫来实现爬取不让下载的视频：
首先右键点击检查，我们可以看见找到了视频的src，访问这个src就可以得到视频的下载网址，如下：
右键就可以下载了，但是我们怎么用python爬虫代码来实现呢？
首先引入需要的库
import os #用于保存文件
import requests #用于得到src后下载视频
from selenium import webdriver #用于访问网站获取src
import time #计时使网站加载完整
from requests_html import HTMLSession #访问网站
session = HTMLSession()
from random import sample #随机模块我已经写好注释了，有些入门小白可能要问time模块来干嘛呀？
这也是为什么要用selenium库而不全用requests的原因，因为快手网站使用懒加载，何为懒加载？
就是等到用户需要看到视频时才向服务器发出视频src的请求，这样对谁都好，但就是对爬虫十分的不友好
所以不用requests来请求src，因为它是连接服务器的第一时间就把代码下载下来，还没有向服务器发出src的请求，因为用requests我们看不见src，所以我们用selenium来获取src，因为它调用本地的浏览器，我们先用selenium访问网站，再用time库等待2秒（为了让网站加载完毕，加载出src）：
s = input('链接：')
browser = webdriver.Chrome()
browser.get("%s"%s)
time.sleep(2)
input_third = browser.find_element_by_xpath("//video[@class='player-video']").get_attribute("src")#使用浏览器访问网站，获取src
browser.close()#关闭浏览器我们就取到了视频的下载地址，接下来就是保存了：
url = input_third#将src赋值给url
root = "D://video//"#定义文件路劲
ua = ['my','sy','yy']
ba = ['by','ty','zy']
ssy = sample(ua, 1)[0] + sample(ba, 1)[0] + '.mp4'
path = root + ssy #抓取文件起的名字，随机名称
if not os.path.exists(root):
os.mkdir(root) #如果该目录不存在就创建它
if not os.path.exists(path):
ua = [
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E) QQBrowser/6.9.11079.201',
'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)']
headers = {
'User-Agent': sample(ua, 1)[0]
}
r = requests.get(url,headers=headers)
#获取到目标视频的所有信息，随机请求头
with open(path, 'wb') as f: #以二进制写的方式将r的二进制内容写入path
f.write(r.content)
f.close()
print("文件保存成功")
else:
print("文件已存在")
然后就可以在d盘video目录下看见视频了
简易源码分享
import os
import requests
from selenium import webdriver
import time
from requests_html import HTMLSession
session = HTMLSession()
from random import sample
s = input('链接：')
browser = webdriver.Chrome()
browser.get("%s"%s)
time.sleep(2)
input_third = browser.find_element_by_xpath("//video[@class='player-video']").get_attribute("src")#使用浏览器访问网站，获取src
browser.close()#关闭浏览器
url = input_third#将src赋值给url
root = "D://video//"#定义文件路劲
ua = ['my','sy','yy']
ba = ['by','ty','zy']
ssy = sample(ua, 1)[0] + sample(ba, 1)[0] + '.mp4'
path = root + ssy #抓取文件起的名字，随机名称
if not os.path.exists(root):
os.mkdir(root) #如果该目录不存在就创建它
if not os.path.exists(path):
ua = [
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E) QQBrowser/6.9.11079.201',
'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)']
headers = {
'User-Agent': sample(ua, 1)[0]
}
r = requests.get(url,headers=headers)# 自动转换josn
#获取到目标视频的所有信息，随机请求头
#打印访问的状态码是否为200
with open(path, 'wb') as f: #以二进制写的方式将r的二进制内容写入path
f.write(r.content)
f.close()
print("文件保存成功")
else:
print("文件已存在")