python爬取百思不得姐网站视频:http://www.budejie.com/video/

新建一个py文件,代码如下:

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import urllib,re,requests
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

url_name = [] #url name

def get():
    #获取源码
    hd = {"User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}
    url = 'http://www.budejie.com/video/'
    html = requests.get(url,headers=hd).text
    url_content = re.compile(r'(.*?
.*?