python爬取电影天堂新片精品模块电影列表,并用迅雷下载

python版本是3.6.5,上代码:

# 爬取电影天堂
from selenium import webdriver
import requests
from bs4 import BeautifulSoup
import os
import pyperclip

print('开始网页请求')
#使用selenium通过PhantomJS来进行网络请求
driver=webdriver.PhantomJS()

url = 'http://www.dytt8.net'
#这里就不再通过urllib进行网络请求了
driver.get(url)

# 获取网页中class为co_area2的标签
print('开始获取所有链接')
all_link=BeautifulSoup(driver.page_source,'lxml').select('.co_area2')

# 在获取 新片精品模块的 a标签
all_link = all_link[2].select('table a')
count = len(all_link);

# 整理获取的链接
a_link = []
t_name = []
for i in range(0,count):
    if i % 2 != 0:
        continue
    else:
        # 打开 新品精品 模块的链接
        driver.get( url + all_link[i].get("href"))
        # 获取ftp下载地址
        ftp_links = BeautifulSoup(driver.page_source,'lxml').select('#Zoom table td a')
        if ftp_links == []:
            continue
        else:
            # 把ftp下载地址放入列表
            a_link.append(ftp_links[0].get('thunderrestitle')) 

print('获取完毕');

# 用换行拼接电影列表
links = '\n'.join(a_link);
# 复制到剪切板
pyperclip.copy(links);
print('已粘贴');

# 打开迅雷
thunder_path = r'C:\Program Files (x86)\Thunder Network\Thunder\Program\Thunder.exe' #此处填写自己的迅雷位置(右键迅雷查看文件位置)
os.startfile(thunder_path)

效果图:python爬取电影天堂新片精品模块电影列表,并用迅雷下载_第1张图片

python爬取电影天堂新片精品模块电影列表,并用迅雷下载_第2张图片

你可能感兴趣的:(爬虫)