Python【如何绕过防盗链策略】referer

# 梨视频首页访问地址 ：https://www.pearvideo.com/video_1752989
# 地址1 https://www.pearvideo.com/videoStatus.jsp?contId=1752989&mrd=0.11273598427974241
# 地址2 https://video.pearvideo.com/mp4/third/20220228/1674040398156-10787886-192545-hd.mp4
#地址2 是从地址一中解析的页面中解析自认为可以播放的地址,地址1 是从首页访问地址刷新而来
import pprint

import requests
from lxml import etree
if __name__ == "__main__":
    url_home = 'https://www.pearvideo.com/'
    headers = {

        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Mobile Safari/537.36'

    }
    resp_home = requests.get(url=url_home,headers=headers)
    resp_home.encoding = 'utf-8'
    page_text = resp_home.text
    tree = etree.HTML(page_text)
    page_href = tree.xpath('//div[@class="vervideo-tbd"]/a/@href')[0] #page_href : video_1722858
    print(page_href)
#    page_href是获取的首页地址，他和视频地址存在某种相同关系，相同的地方就是page_href 中的末尾数字为可以访问下载的视频地址video_url中的contId值。
    contId = page_href.split('_')[-1]
    # split 是Python中的内置函数，作用实现对字符串进行分割，分割后的字符串以列表形式返回
    video_url = f'https://www.pearvideo.com/videoStatus.jsp?contId={contId}&mrd=0.11273598427974241'
    # video_json = requests.get(video_url)
    # print(video_json)

# 反爬机制：防盗链referer
# 比如你从csdn的首页点进我的这篇文章，防盗链机制运营逻辑是，你点进我的这篇前是从哪里进来的，判断请求来源哪里
# 如何躲避防盗链检测,在请求headers中添加 “Referer“:url
    headers_two = {
        "User-Agent":"'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Mobile Safari/537.36'",
        # 拼接主页面地址： 通过测试page_href输出结果得到了视频的动态地址：
        #                 视频地址 https://www.pearvideo.com/video_1722858
        # 发起请求的url：url_home = 'https://www.pearvideo.com/'
        # 从页面获取的部分动态地址page_href：                              video_1722858
        "Referer":url_home+page_href
    }
    #因为可以访问到视频url在数据页面找不到，先找到原则上可以访问到视频的地址，下面会对这一地址进行替换修改，让它能访问得到。
    video_json = requests.get(video_url,headers=headers_two).json()
    pprint.pprint(video_json)
    # 我们需要对获取到的‘srcUrl’原则上可以请求到视频的地址中的某一参数进行替换我们才能访问成功。
    # 先获取到自认为可以播放url
    srcUrl = video_json.get('videoInfo').get('videos').get('srcUrl')
    #经过打印srcUrl 可以获取到自认为能请求到的地址
    print(srcUrl)
    # systemtime 我们需要这个参数吗？ 不知道先拿出来看看，通过理清我们需要干什么？，来确定需不需要这个数据
    systemTime = video_json.get('systemTime')
    #拿到的systemTime 其实就是请求的时间，因为下方需要对这一数据进行替换，显然我们是需要systemTime这个数据的。
    print(systemTime)
    #替换获取到的 srcUrl地址信息，因为获取到的地址访问不通，经过替换参数就可以访问的通。
    #获取到的systemTime https://video.pearvideo.com/mp4/adshort/20210310/1674049092504-15627576_adpkg-ad_hd.mp4
    #其中需要将   1674049092504（这串数字就是 systemTime） 替换为 cont-page_href（page_href 打印的结果），
    NeW_url = srcUrl.replace(systemTime,f"cont-{contId}")
    #本次发起的请求，是可以获取得到视频信息的url,  .content是变为bytes流数据，视频和图片一般转化成.content 输出
    video_content = requests.get(NeW_url,headers=headers).content
    #写入存储文件
    fp = open('D://xiaoli//lishipin.mp4','wb')
    fp.write(video_content)
    fp.close()
print("over")


#反爬机制：防盗链referer
#比如你从csdn的首页点进我的这篇文章，防盗链机制运营逻辑是，你点进我的这篇前是从哪里进来的，判断请求来源哪里
#如何躲避防盗链检测,在请求headers中添加 “Referer“:url

# 拼接主页面地址： 通过测试page_href输出结果得到了视频的动态地址：
#                 视频地址 https://www.pearvideo.com/video_1722858
#发起请求的url：url_home = 'https://www.pearvideo.com/'
#从页面获取的部分动态地址：                              video_1722858
#第一个视频获取从network获取的url
#https://www.pearvideo.com/videoStatus.jsp?contId=1722858&mrd=0.05088404952821657
#第二个视频获取的url
#https://www.pearvideo.com/videoStatus.jsp?contId=1752989&mrd=0.11273598427974241
# 从视频地址中找到contId，经过测试由于contId的数据是变化的而且是关键，末尾mrd中的数据是随机生成的，而且不会影响视频播放地址的获取。