selenium+Firefox爬虫下载pdf弹出下载框的终极方案

如题,网上全是用以下方案:

fp = webdriver.FirefoxProfile()
fp.set_preference("browser.download.folderList", 2)  # 0桌面,1默认下载路径,2自定义路径。设置0和1的时候,第三个设置自定义路径的就要去掉
fp.set_preference('browser.download.dir', 'pdf')
fp.set_preference("browser.download.manager.showWhenStarting", False)
fp.set_preference("browser.helperApps.neverAsk.saveToDisk", "application/octet-stream")  # 下载文件类型

driver = webdriver.Firefox(firefox_profile=fp)

然而并不起作用,还是弹出下载框...于是网上有朋友说抓包修改文件类型“application/octet-stream”,然而各种都尝试了还是不起作用,于是经过一晚上的探索,摸索出了一个半自动的终极方案:

先把自己的配置代码删除,直接让firefox以默认方式启动,然后新建标签页(不新建会报错),打开选项,手动修改这两个地方,然后把新建的标签页关掉,继续执行后面代码即可:

selenium+Firefox爬虫下载pdf弹出下载框的终极方案_第1张图片

你可能感兴趣的:(Scrapy爬虫)