使用python爬虫,批量爬取抖音app视频（requests+Fiddler+appium）

抖音很火，楼主使用python随机爬取抖音视频，并且无水印下载，人家都说天下没有爬不到的数据，so，楼主决定试试水，纯属技术爱好，分享给大家。。

1.楼主首先使用Fiddler4来抓取手机抖音app这个包，具体配置的操作，网上有很多教程供大家参考。

上面得出抖音的视频的url，这些url均能在网页中打开，楼主数了数，这些url的前缀有些不同，一共有这4种类型：

v1-dy.ixigua.com

v3-dy.ixigua.com

v6-dy.ixigua.com

v9-dy.ixigua.com

 楼主查看这四种类型得知，v6-dy.ixigua.com 这个前缀后面的参数其中有一个是Expires（中文含义过期的意思）

Expires=1536737310，这个是时间戳，标记的是过期的时间如下图所示，过了15:28分30秒，则表示url不能使用，楼主算了一下，url有效期是一个小时。

看到这些url，楼主不能手动一个一个粘贴，so楼主需要在+Fiddler4中（在Fiddler4使用script代码网上有大量详细教程）使用如下代码，自动保存到一个txt文档中。

 

 

        //保存到本地添加开始
        
        //这是抖音的地址||"v1-dy.ixigua.com"||"v3-dy.ixigua.com"||"v6-dy.ixigua.com"||"v9-dy.ixigua.com"||
        if (oSession.fullUrl.Contains("v1-dy.ixigua.com")||
            oSession.fullUrl.Contains("v3-dy.ixigua.com")||
            oSession.fullUrl.Contains("v6-dy.ixigua.com")||
            oSession.fullUrl.Contains("v9-dy.ixigua.com")){
            
            var fso;
            var file;
            fso = new ActiveXObject("Scripting.FileSystemObject");
            //文件保存路径，可自定义
            file = fso.OpenTextFile("H:\\Request.txt",8 ,true);
            //file.writeLine("Request-url:" + oSession.url);
            file.writeLine("http://"+oSession.url)
            //file.writeLine("Request-host:" + oSession.host);
            //file.writeLine("Request-header:" + "\n" + oSession.oRequest.headers);
            //file.writeLine("Request-body:" + oSession.GetRequestBodyAsString());
            //file.writeLine("\n");
            file.close();
        }        
        //保存到本地添加结束

 

把上边的代码插入到如下图所示的地方即可。

 2.上面的url是楼主手动点击一个个刷新抖音app出现的，so楼主使用appium来自动刷新抖音app，自动获得url，自动保存到txt文档中。

 首先需要在appium中得到抖音这个app包的一些用的信息，如下图所示

楼主使用的是红米手机，至于appium怎么安装配置，大家可参考网上相关教程，appium客户端连接上手机（需要数据线连接）后，在控制台打印出log日志文件，在日志文件中找到这四个参数即可，然后保存

到appium客户端中即可，就能在appium客户端中操作抖音app。

 {
  "platformName": "Android",
  "deviceName": "Redmi Note5",
  "appPackage": "com.ss.android.ugc.aweme",
  "appActivity": ".main.MainActivity"
}

appPackage这一项com.ss.android.ugc.aweme 则表示抖音短视频。