「docker实战篇」python的docker- 抖音视频抓取(中)(25)

原创文章,欢迎转载。转载请注明:转载自IT人故事会,谢谢!
原文链接地址:「docker实战篇」python的docker- 抖音视频抓取(中)(25)

本次主要针对python对上次抖音分享的页面中的_signature进行解析并完成抖音视频的下载。源码:https://github.com/limingios/dockerpython.git (源码/「「docker实战篇」python的docker- 抖音视频抓取(下)(24))
https://github.com/limingios/dockerpython.git (谷歌插件)

找到方法,完成本地的html的生成

其实就是复制出来分享页面的函数,然后通过函数,调用的方式完成_signature的生成。

html_foot.txt




    
    Title





handle_douyin_movie.py 下载代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/2/20 17:39
# @Author  : Aries
# @Site    : 
# @File    : handle_douyin_movie.py.py
# @Software: PyCharm
import json
import os

import requests
import re
import time

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

#分享ID
share_id = "89923219116"
share_url = "https://www.douyin.com/share/user/"+share_id


header = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36"
}

#dytk 和tac的正则表达式
dytk_search = re.compile(r"dytk: '(.*?)'")
tac_search = re.compile(r"")
response = requests.get(url=share_url,headers=header)


#处理获取dytk 和tac
dytk = re.search(dytk_search,response.text).group(1)
tac = re.search(tac_search,response.text).group(1)


#tac封装成为js的格式
tac = "var tac="+tac+";"


# html页面的编写合成 header + tac+ foot
with open("html_head.txt") as f1:
    f1_read = f1.read()

with open("html_foot.txt") as f2:
    f2_read = f2.read().replace("&&&&","89923219116")


with open("test.html","w") as f_w:
    f_w.write(f1_read+"\n"+tac+"\n"+f2_read)


# signature = input("秘钥为:")

chrome_options = Options()
chrome_options.add_argument("--headless")
abspath = os.path.abspath(r"D:\Program Files\chromedriver\chromedriver.exe")
douyin_driver = webdriver.Chrome(executable_path=abspath,chrome_options=chrome_options,)
douyin_driver.get("file:///E:\\dockerpython\\python\\douyin\\test.html")
signature = douyin_driver.title
douyin_driver.quit()
movie_url = "https://www.douyin.com/aweme/v1/aweme/post/?user_id="+share_id+"&count=21&max_cursor=0&aid=1128&_signature="+signature+"&dytk="+dytk

#接口不太稳定,所以要使用while循环一直调用
while True:
    movie_reponse = requests.get(url=movie_url,headers=header)
    if json.loads(movie_reponse.text)["aweme_list"] == []:
        #time.sleep(1)
        continue
    else:
        print(movie_reponse.text)
        for item in json.loads(movie_reponse.text)["aweme_list"]:
            video_url = item["video"]["play_addr"]["url_list"][0]
            video_response = requests.get(url=video_url,headers=header)
            with open("douyin.mp4","wb") as v:
                #不能使用video_response.text,必须使用content才可以把内容写进去
                v.write(video_response.content)
                break

最终结果

里面关于chromedriver的配置直接引入他的路径最稳了,我比较喜欢这种方式网上很多搞环境变量的导致电脑很慢不建议。

PS:基本上抖音视频下载的都已经完成了,下次对于需要注意的做下总结。

你可能感兴趣的:(「docker实战篇」python的docker- 抖音视频抓取(中)(25))