python爬虫实战，超简单爬取抖音无水印视频

 

目录

                  一、抖音视频分析

二、分析复制的短链接

三、分析返回的数据

四、下载源码

五、运行结果：

 一、抖音视频分析

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：961562169

①、打开抖音app，搜索想要爬取视频的抖音音乐人

②、找到主页右上角三个点

③、点击其中的分享

④、选择其中的复制链接

二、分析复制的短链接

①浏览器打开复制的链接

• 发现短连接被还原成了原始链接
• 暂时我们不知道需要下载视频需要的是什么参数，后期通过分析知道只需要sec_uid这个参数即可
• pc端打开会出现样式问题，我们选择移动端打开，模拟手机环境
• 因此，爬虫也需要模拟移动端环境进行请求

②、使用移动端打开

③、浏览器抓包

• 点击作品和喜欢，可以抓包到请求的链接，这个我们稍后分析
• 因为现在抖音app有隐藏自己收藏的功能，所以如果用户设置了隐藏，你将无法下载用户收藏的视频哦

④、分析请求链接

• 通过抓包我们知道
• 用户上传的数据链接为：https://www.iesdouyin.com/web/api/v2/aweme/post/?sec_uid=MS4wLjABAAAAYSkDWl4l-zUBPSEtsuxKHbgy5uIcwokC-OpwJrzOPmU&count=21&max_cursor=0&aid=1128&_signature=Bth1lgAAWa-w6IbGQlE-1gbYdY&dytk=
• 用户收藏的数据链接为：https://www.iesdouyin.com/web/api/v2/aweme/like/?sec_uid=MS4wLjABAAAAYSkDWl4l-zUBPSEtsuxKHbgy5uIcwokC-OpwJrzOPmU&count=21&max_cursor=0&aid=1128&_signature=Bth1lgAAWa-w6IbGQlE-1gbYdY&dytk=
• 请求结果如下，因抖音的检测机制，你需要刷很多次才有数据，这个我们通过循环判断aweme_list中是否有数据即可

• 多次刷新后的结果如下

三、分析返回的数据

①看整体数据，将数组折叠先

• status_code: 不用说，肯定是返回状态
• aweme_list: 存放视频信息的数组，等会具体分析
• max_cursor/min_cursor: 这个盲猜都知道用来分页的指针，如果是多页，且请求的不是第一页，需要传其中的某个值，这个暂时不讨论
• has_more: 是否有多页
• extra: 额外的信息，当前请求的毫秒级时间戳，以及logid，这个不重要，抖音那边用来日志记录的

②、分析视频信息

• 可以看出每个视频有两个链接，自己访问一下就知道，一个链接是用户上传的原视频，另一个是抖音那边加了水印的视频
• 其实到这里大家都知道无水印视频如何下载了，不必赘述了

四、下载源码

• 其实通过分析，抖音下载只需要拿到sec_uid这个参数即可
• 浏览器打开分享的短连接，就能看到地址栏这个参数

#!/usr/bin/env python
# encoding: utf-8
'''
#-------------------------------------------------------------------
#                   CONFIDENTIAL --- CUSTOM STUDIOS                      
#-------------------------------------------------------------------
#                                                                   
#                   @Project Name : 抖音下载小助手
#                                                                   
#                   @File Name    : main.py                      
#                                                                   
#                   @Programmer   : Felix                           
#                                                                     
#                   @Start Date   : 2020/7/30 14:42                 
#                                                                   
#                   @Last Update  : 2020/7/30 14:42                 
#                                                                   
#-------------------------------------------------------------------
'''
import os, sys, requests
import json, re, time
from retrying import retry
from contextlib import closing
 
class DouYin:
    '''
     This is a main Class, the file contains all documents.
     One document contains paragraphs that have several sentences
     It loads the original file and converts the original file to new content
     Then the new content will be saved by this class
    '''
    def __init__(self):
        '''
        Initial the custom file by some url
        '''
        self.headers = {
            'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
            'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
            'pragma': 'no-cache',
            'cache-control': 'no-cache',
            'upgrade-insecure-requests': '1',
            'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1',
        }
 
    def hello(self):
        '''
        This is welcome speech
        :return: self
        '''
        print("*" * 50)
        print(' ' * 15 + '抖音下载小助手')
        print(' ' * 5 + '作者: Felix  Date: 2020-05-20 13:14')
        print(' ' * 15 + '无水印 | 有水印')
        print(' ' * 12 + '输入用户的sec_uid即可')
        print(' ' * 2 + '用浏览器打开用户分享链接，复制参数中sec_uid')
        print("*" * 50)
        return self
 
    def get_video_urls(self, sec_uid, type_flag='p'):
        '''
        Get the video link of user
        :param type_flag: the type of video
        :return: nickname, video_list
        '''
        user_url_prefix = 'https://www.iesdouyin.com/web/api/v2/aweme/post' if type_flag == 'p' else 'https://www.iesdouyin.com/web/api/v2/aweme/like'
        print('---解析视频链接中...\r')
 
        i = 0
        result = []
        while result == []:
            i = i + 1
            print('---正在第 {} 次尝试...\r'.format(str(i)))
            user_url = user_url_prefix + '/?sec_uid=%s&count=2000' % (sec_uid)
            response = self.get_request(user_url)
            html = json.loads(response.content.decode())
            if html['aweme_list'] != []:
                result = html['aweme_list']
 
        nickname = None
        video_list = []
        for item in result:
            if nickname is None:
                nickname = item['author']['nickname'] if re.sub(r'[\/:*?"<>|]', '', item['author']['nickname']) else None
 
            video_list.append({
                'desc': re.sub(r'[\/:*?"<>|]', '', item['desc']) if item['desc'] else '无标题' + str(int(time.time())),
                'url': item['video']['play_addr']['url_list'][0]
            })
        return nickname, video_list
 
    def get_download_url(self, video_url, watermark_flag):
        '''
        Whether to download watermarked videos
        :param video_url: the url of video
        :param watermark_flag: the type of video
        :return: the url of o
        '''
        if watermark_flag == True:
            download_url = video_url.replace('api.amemv.com', 'aweme.snssdk.com')
        else:
            download_url = video_url.replace('aweme.snssdk.com', 'api.amemv.com')
 
        return download_url
 
    def video_downloader(self, video_url, video_name, watermark_flag=False):
        '''
        Download the video
        :param video_url: the url of video
        :param video_name: the name of video
        :param watermark_flag: the flag of video
        :return: None
        '''
        size = 0
        video_url = self.get_download_url(video_url, watermark_flag=watermark_flag)
        with closing(requests.get(video_url, headers=self.headers, stream=True)) as response:
            chunk_size = 1024
            content_size = int(response.headers['content-length'])
            if response.status_code == 200:
                sys.stdout.write('----[文件大小]:%0.2f MB\n' % (content_size / chunk_size / 1024))
 
                with open(video_name + '.mp4', 'wb') as file:
                    for data in response.iter_content(chunk_size=chunk_size):
                        file.write(data)
                        size += len(data)
                        file.flush()
 
                        sys.stdout.write('----[下载进度]:%.2f%%' % float(size / content_size * 100) + '\r')
                        sys.stdout.flush()
 
    @retry(stop_max_attempt_number=3)
    def get_request(self, url, params=None):
        '''
        Send a get request
        :param url: the url of request
        :param params: the params of request
        :return: the result of request
        '''
        if params is None:
            params = {}
        response = requests.get(url, params=params, headers=self.headers, timeout=10)
        assert response.status_code == 200
        return response
 
    @retry(stop_max_attempt_number=3)
    def post_request(self, url, data=None):
        '''
        Send a post request
        :param url: the url of request
        :param data: the params of request
        :return: the result of request
        '''
        if data is None:
            data = {}
        response = requests.post(url, data=data, headers=self.headers, timeout=10)
        assert response.status_code == 200
        return response
 
    def run(self):
        '''
        Program entry
        '''
        sec_uid = input('请输入用户sec_uid:')
        sec_uid = sec_uid if sec_uid else 'MS4wLjABAAAAle_oORaZCgYlB84cLTKSqRFvDgGmgrJsS6n3TfwxonM'
 
        watermark_flag = input('是否下载带水印的视频 (0-否(默认), 1-是):')
        watermark_flag = bool(int(watermark_flag)) if watermark_flag else 0
 
        type_flag = input('p-上传的(默认), l-收藏的:')
        type_flag = type_flag if type_flag else 'p'
 
        save_dir = input('保存路径 (默认"./Download/"):')
        save_dir = save_dir if save_dir else "./Download/"
 
        nickname, video_list = self.get_video_urls(sec_uid, type_flag)
        nickname_dir = os.path.join(save_dir, nickname)
 
        if not os.path.exists(nickname_dir):
            os.makedirs(nickname_dir)
 
        if type_flag == 'f':
            if 'favorite' not in os.listdir(nickname_dir):
                os.mkdir(os.path.join(nickname_dir, 'favorite'))
 
        print('---视频下载中: 共有%d个作品...\r' % len(video_list))
 
        for num in range(len(video_list)):
            print('---正在解析第%d个视频链接 [%s] 中，请稍后...\n' % (num + 1, video_list[num]['desc']))
 
            video_path = os.path.join(nickname_dir, video_list[num]['desc']) if type_flag != 'f' else os.path.join(nickname_dir, 'favorite', video_list[num]['desc'])
            if os.path.isfile(video_path):
                print('---视频已存在...\r')
            else:
                self.video_downloader(video_list[num]['url'], video_path, watermark_flag)
            print('\n')
        print('---下载完成...\r')
 
if __name__ == "__main__":
    DouYin().hello().run()

五、运行结果：

• 其中重试的次数，就是在连续请求那个数据连接，直达list中有数据

• 可以发现已经可以正常下载了